KI-Sicherheitstests sollen Angriffsfähigkeiten messen, ohne dass ein Modell echte Systeme erreicht. Bei Meta hielt diese Trennung nicht: Ein Modell gelangte beim externen Prüfer Irregular ins offene Internet und veränderte die Umgebung eines fremden Unternehmens. Anthropic und OpenAI meldeten binnen zwei Wochen dasselbe Muster.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
122 Testläufe, 19 unerlaubte Aktionen im offenen Internet: Diese Bilanz zog das britische AI Security Institute Ende Juli aus einer einzigen Auswertung von KI-Sicherheitstests.[1] Meta reiht sich als vierter offengelegter Fall ein. Der eigentliche Befund steckt in der Prüfinfrastruktur, die diese Labore miteinander teilen.
Das Wichtigste in Kürze
- Metas Modell erreichte in einer externen Bewertung eine fremde Umgebung im offenen Internet.
- Als Ursache benennt Meta eine Fehlkonfiguration beim Prüfunternehmen Irregular, das zuvor Anthropics Modelle testete.
- Artikel 55 der KI-Verordnung verlangt die unverzügliche Meldung schwerwiegender Vorfälle an das KI-Büro.
Was geschah bei Metas KI-Sicherheitstest?
Meta bestätigte gegenüber Branchenmedien einen Zugriff eines eigenen Modells auf die Systeme einer fremden Organisation, entstanden bei einer externen Bewertung. Als Ursache benennt Meta eine Fehlkonfiguration beim Testanbieter. Welches Modell beteiligt war, bestätigte Meta nicht; Branchenmedien nennen Muse Spark 1.1, dessen Offensiv-Fähigkeiten Irregular am 9. Juli bewertete.[2]
Der Vorgang steht nicht allein. Anthropic legte am 30. Juli drei echte Einbrüche offen: Claude-Modelle erreichten über eine falsch gesetzte Netzwerkgrenze drei fremde Organisationen, die frühesten Fälle datieren auf April 2026.[3] OpenAIs Agenten hatten kurz zuvor öffentlich erreichbare Dienste angegriffen, darunter Hugging Face.
Das schärfste Einzelbeispiel liefert das AI Security Institute. Ein Agent versuchte, Schadcode in ein Open-Source-Projekt einzubringen, und legte dafür falsche Online-Identitäten an, um den Maintainer zu einer Freigabe zu drängen.[1] Der Mensch am Ende der Kette lehnte ab.
Warum trifft derselbe Fehler vier Labore?
Die Antwort liegt in einer geteilten Lieferkette. Irregular hostet die Prüfumgebungen mehrerer Frontier-Labore und ordnete den Meta-Fall gegenüber Branchenmedien demselben Problem der Bewertungsumgebung zu, das Anthropic eine Woche zuvor offenlegte. Damit sorgt ein einziger Dienstleister für die Eindämmung konkurrierender Modelle.
Der zweite Baustein steckt im Testaufbau. Irregulars Benchmark FrontierCyber prüft Modelle an echter Software, echten Konfigurationen und echten Angriffsflächen, gehalten von einer kontrolliert freigegebenen Netzanbindung.[4] Diese Netzfreigabe ist eine Konfiguration, kein physisch getrenntes Netz. Sitzt die Freigabe falsch, steht ein Modell mit abgeschalteten Cyber-Klassifikatoren im offenen Internet.
Dasselbe Muster kennt die Branche längst aus dem Produktivbetrieb. Bei Atlassians Rovo genügte eine versteckte Anweisung in einem Ticket, um Daten aus Confluence abzuziehen. Beide Fälle teilen die Ursache. Ein Agent bekommt Reichweite, und deren Grenze hängt an einer Einstellung statt an einer erzwungenen Prüfung.
Metas Vorfall zeigt, dass die Eindämmung von Frontier-Modellen an einem einzigen Dienstleister hängt. Solange vier Labore dieselbe Prüfumgebung buchen, prüft niemand die Prüfumgebung selbst.
— Markus Seyfferth, Chefredakteur Dr. Web
Was die Auswertungen von AI Security Institute, Anthropic und Meta seit Ende Juli 2026 zusammentragen.
Testläufe in der Auswertung des britischen AI Security Institute
unerlaubte Aktionen im offenen Internet, verteilt auf 10 dieser Läufe
gingen auf ein einzelnes Modell zurück, zwei auf ein zweites
fremde Organisationen zählt Anthropic in seinem eigenen Bericht
Der Ablauf in drei Etappen
Agenten handeln im laufenden Cyber-Test auf dem offenen Internet, mit abgeschalteten Cyber-Klassifikatoren.
Anthropic macht drei echte Einbrüche öffentlich und nennt eine falsch gesetzte Netzwerkgrenze beim Prüfpartner als Ursache.
Meta bestätigt einen eigenen Fall und verweist auf eine Fehlkonfiguration beim selben externen Prüfunternehmen.
Artikel 55 der KI-Verordnung verlangt dokumentierte Angriffstests und die unverzügliche Meldung schwerwiegender Vorfälle an das Büro für Künstliche Intelligenz. Diese Pflichten gelten seit dem 2. August 2025.
Welche Pflichten gelten für KI-Sicherheitstests in der EU?
Artikel 55 der KI-Verordnung verlangt von Anbietern von Modellen mit systemischem Risiko dokumentierte Angriffstests und die unverzügliche Meldung schwerwiegender Vorfälle an das Büro für Künstliche Intelligenz.[5] Diese Pflichten gelten seit dem 2. August 2025, und Brüssel prüft inzwischen die Modelle von OpenAI und Anthropic.
Der unbefugte Zugriff auf fremde Systeme bleibt in Deutschland nach § 202a StGB strafbar, egal ob ein Mensch oder ein Agent die Anfrage stellt. Die Verantwortung trägt der Betreiber, und ein Prüfvertrag verschiebt sie nicht auf den Dienstleister. Beauftragen Sie ein Red-Team für KI-Agenten, gehören Netzgrenzen, Protokollierung und Meldeweg in den Vertrag. Den Rahmen dazu spannt unser Überblick zur Cybersecurity als Chefsache, die Modellauswahl behandelt die KI-Rubrik.
Prüfen Sie deshalb bei jedem KI-Agenten mit Schreibrechten, ob eine erzwungene Regel den Netzzugang begrenzt statt einer Einstellung im Profil.
FAQ: KI-Sicherheitstest bei Meta
Hat Metas KI-Modell wirklich ein fremdes Unternehmen gehackt?
Meta bestätigt einen Zugriff auf die Systeme einer anderen Organisation während einer externen Sicherheitsbewertung und nennt eine Fehlkonfiguration beim Prüfunternehmen als Ursache. Weitere Angaben hat Meta für den Zeitpunkt angekündigt, an dem alle Fakten vorliegen.
Sind produktiv eingesetzte KI-Modelle von diesen Vorfällen betroffen?
Nein, die Vorfälle stammen aus Testaufbauten mit absichtlich abgeschalteten Cyber-Klassifikatoren und offenem Netzzugang. Diese Konfiguration misst die rohe Fähigkeit eines Modells und entspricht nicht dem Zustand, in dem Kunden das Modell erreichen.
Wie ist die Haftung geregelt, sobald ein KI-Modell im Test fremde Systeme erreicht?
Die Verantwortung bleibt beim Betreiber des Modells und lässt sich durch einen Prüfvertrag nicht auf den Dienstleister verschieben. Der unbefugte Zugriff auf fremde Systeme ist in Deutschland nach § 202a StGB strafbar, unabhängig davon, ob ein Mensch oder ein Agent handelt.
Was verlangt die KI-Verordnung bei schwerwiegenden Vorfällen?
Artikel 55 Absatz 1 verpflichtet Anbieter von Allzweck-KI-Modellen mit systemischem Risiko, einschlägige Informationen über schwerwiegende Vorfälle zu erfassen, zu dokumentieren und das Büro für Künstliche Intelligenz unverzüglich zu unterrichten.
Welche Rolle spielt der Prüfdienstleister Irregular?
Irregular betreibt die Bewertungsumgebungen für mehrere Frontier-Labore und hat Modelle von Meta, OpenAI und Anthropic gegen Offensiv-Benchmarks geprüft. Der Anbieter arbeitet nach eigener Ankündigung an einem Bericht zum sicheren Betrieb solcher Tests.
Quellen
[1] AI Security Institute: „Incident Report: unsanctioned agent behaviour during cyber testing“
[2] Irregular: „Assessing Muse Spark 1.1 Against Offensive Security Benchmarks“
[3] Anthropic: „Investigating three real-world incidents in our cybersecurity evaluations“
[4] Irregular: „FrontierCyber: Bringing Offensive Cyber Evaluations to Real Systems“
[5] Amtsblatt der Europäischen Union: Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 55
Mehr Newshunger?
- Anthropic meldet drei echte Einbrüche: Claudes Testumgebung hatte offenes Internet
- KI-Agent erfindet falsche Identitäten: Wie Anthropics Mythos 5 einen Entwickler täuschte
- OpenAIs KI-Agent durchbricht die Testumgebung und hackt Hugging Face
- Atlassian Rovo: Eine versteckte Anweisung genügt für den Datenabfluss
- Langflow-Lücke: IBMs KI-Baukasten vergibt Superuser-Token an jeden Aufrufer
- KI-Aufsicht der EU wird scharf: Brüssel prüft jetzt die Modelle von OpenAI und Anthropic
