Anthropic hat 141.006 Testläufe seiner Cyber-Evaluierungen nachgeprüft und drei Fälle gefunden, in denen Claude-Modelle echte Fremdsysteme kompromittierten. Die Isolation der Testumgebung stand nur im Prompt, nicht in den Netzwerkregeln. Betreiber eigener KI-Agenten sollten genau diese Lücke bei sich prüfen.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Neun Tage nach der Offenlegung von OpenAI meldet Anthropic einen Fund aus den eigenen Protokollen: Drei Claude-Modelle drangen während Sicherheitstests in produktive Systeme fremder Organisationen ein.[1] Ein Modell erkannte die Ziele als real und griff trotzdem weiter an.
Das Wichtigste in Kürze
- Anthropic prüfte 141.006 Evaluierungsläufe und fand drei Vorfälle, verteilt auf sechs einzelne Läufe.
- Beteiligt waren Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungsmodell.
- Ein schädliches Python-Paket lag rund eine Stunde im Verzeichnis PyPI und lief auf 15 realen Systemen.
- Keiner der Angriffe brauchte eine unbekannte Schwachstelle.
Wie kam Claude aus der Testumgebung heraus?
Gebaut und betrieben hat die Evaluierungen der Sicherheitsdienstleister Irregular. Anthropics Prompts beschrieben die Umgebung als Simulation ohne Internetzugang, doch eine Fehlkonfiguration auf beiden Seiten ließ die Testmaschinen am offenen Netz hängen. Behauptet war die Isolation damit, erzwungen war sie nie.
Darin liegt der eigentliche Mechanismus. Ein Sprachmodell kann eine Aussage über seine Umgebung nicht nachprüfen. Fehlt die Sperre am Netzwerkausgang, bleibt als einzige Schranke ein Satz im Systemprompt. Die Modelle gingen damit unterschiedlich um: Claude Mythos 5 bemerkte das offene Internet und redete sich in die Simulation zurück, das interne Forschungsmodell brach den Angriff ab. Technisch erzwingen lässt sich die Trennung längst, etwa über MicroVM-Sandboxen für KI-Agenten.
Was die drei Modelle angerichtet haben
Den schwersten Schaden verursachte Claude Opus 4.7. Das Modell traf auf eine reale Firma, die genauso hieß wie das erfundene Ziel des Szenarios, zog Zugangsdaten für Anwendung und Infrastruktur ab und erreichte eine Datenbank mit mehreren hundert Zeilen Produktionsdaten. Claude Mythos 5 wiederum veröffentlichte ein schädliches Python-Paket im öffentlichen Verzeichnis PyPI, das in rund einer Stunde auf 15 realen Systemen landete. Der Scanner eines Sicherheitsunternehmens installierte das Paket und gab dabei Zugangsdaten preis. Erst kurz zuvor hatte PyPI seine Regeln verschärft und Nachträge in alten Releases gesperrt.
Das interne Forschungsmodell scannte rund 9.000 Ziele und kam bei einer Firma über eine offene Debug-Seite und SQL-Injection hinein. Damit zeichnet sich ein Muster ab: Schwache Passwörter, unauthentifizierte Endpunkte und Injektionslücken reichten aus. Den Anstoß zur Rückschau gab die Konkurrenz, denn erst nach dem Angriff von OpenAIs Testmodell auf Hugging Face sah Anthropic die eigenen Protokolle durch.
Zwei Labore, dieselbe Ursache, neun Tage Abstand. Die Sandbox für KI-Agenten gehört in die Firewall-Regel, nicht in den Systemprompt.
— Michael Dobler, Herausgeber Dr. Web
Vom fremden Fund zur eigenen Meldung
Was gilt für Anbieter und Betreiber in Europa?
Der EU AI Act verpflichtet Anbieter von KI-Modellen mit systemischem Risiko, schwerwiegende Vorfälle ohne unangemessene Verzögerung an das AI Office zu melden. Seit August 2025 gilt die Pflicht, ab dem 2. August 2026 kann die Kommission sie durchsetzen und Bußgelder bis 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes verhängen. Am selben Stichtag greifen auch die Transparenzpflichten, an denen sich gerade SAP und seine Kunden abarbeiten.
Für Unternehmen im deutschsprachigen Raum folgen daraus konkrete Aufgaben:
- Netzwerktrennung der eigenen KI-Agenten über Egress-Regeln erzwingen statt über den Prompt-Text.
- Transkripte laufender Agenteneinsätze auswerten, nicht nur deren Endergebnisse. Anthropic fand die Vorfälle erst in den Protokollen.
- Dienstleister vertraglich in die Pflicht nehmen, sobald diese Testumgebungen betreiben.
- Die vier ausgenutzten Schwachstellenklassen im eigenen Bestand abarbeiten.
Den letzten Punkt sollten Sie zuerst angehen, denn ein automatisierter Angreifer probiert schwache Passwörter und offene Endpunkte in Minuten durch. Die Warnung der kanadischen Bankenaufsicht vor schrumpfenden Patch-Fenstern zielt in dieselbe Richtung, der Rat zu Ruhe statt Panik bleibt trotzdem gültig. Wie schnell sich die Fähigkeiten solcher Modelle verschieben, zeigt unsere KI-Rubrik.
Häufige Fragen zu den Anthropic-Vorfällen
Was ist bei Anthropics Cybersicherheits-Tests passiert?
Drei Claude-Modelle drangen während Cyber-Evaluierungen in produktive Systeme von drei realen Organisationen ein. Eine Fehlkonfiguration zwischen Anthropic und dem Evaluierungspartner Irregular ließ die Testmaschinen am offenen Internet, obwohl die Prompts eine Simulation ohne Netzzugang beschrieben.
Welche Claude-Modelle waren betroffen?
Beteiligt waren Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungsmodell, das nicht für eine Veröffentlichung vorgesehen ist. Anthropic identifizierte die drei Vorfälle bei der Durchsicht von 141.006 Evaluierungsläufen, in denen Claude Internetzugang hätte erlangen können.
Welche Angriffstechniken haben die Modelle genutzt?
Zum Einsatz kamen ausschließlich bekannte Techniken: schwache Passwörter, unauthentifizierte Endpunkte, eine offene Debug-Seite und SQL-Injection. Ein Modell veröffentlichte zudem ein schadhaftes Python-Paket auf PyPI, das rund eine Stunde lang verfügbar war und auf 15 realen Systemen ausgeführt wurde.
Was verlangt der EU AI Act bei solchen Vorfällen?
Anbieter von KI-Modellen mit systemischem Risiko müssen schwerwiegende Vorfälle ohne unangemessene Verzögerung an das AI Office melden. Ab dem 2. August 2026 kann die EU-Kommission diese Pflicht durchsetzen und Bußgelder bis 15 Millionen Euro oder 3 Prozent des weltweiten Jahresumsatzes verhängen.
Quelle
[1] Anthropic: „Investigating three real-world incidents in our cybersecurity evaluations“
Mehr Newshunger?
- OpenAI Testmodelle brechen bei Hugging Face ein
- CosmosEscape in Azure Cosmos DB: Ein Generalschlüssel öffnete jede Datenbank
- Nvidia gründet KI-Sicherheitsallianz mit Microsoft und Siemens
- 320 Millionen Token, kein Umsatz: Ein KI-Agent führte 24 Stunden lang ein echtes Unternehmen
- KI-Tempolimit: OpenAI und Anthropic unterstützen den Ruf nach einer staatlichen Bremse
