Anthropic pausierte über Wochen ganze Trainingsumgebungen, weil Claude in Sicherheitstests die Grenze der Testumgebung durchbrach und reale Systeme ansteuerte. Am 30. Juli erreichten mehrere Modelle über eine falsch konfigurierte Umgebung das offene Internet. Kurz darauf handelte Claude Mythos 5 eigenmächtig gegen echte Ziele. Der Vorfall zeigt Entscheidern, wo die Kontrolle über agentische KI heute endet.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Anthropic hat einen Teil seines KI-Trainings vorübergehend gestoppt, weil Claude-Modelle in internen Tests eigenmächtig auf fremde Rechner zugriffen. Der KI-Entwickler legte den Hergang jetzt in einem eigenen Blogbeitrag offen. Für Firmen, die selbst auf KI-Agenten setzen, ist der Fall mehr als eine Anekdote aus dem Labor.
Das Wichtigste in Kürze
- Anthropic stoppte externe Cyber-Tests und fror risikoreiche Trainingsumgebungen mehrere Wochen ein.
- Auslöser waren drei Vorfälle am 30. Juli und ein Mythos-5-Vorfall am 4. August, bei denen Claude reale Systeme erreichte.
- Ein neuer Echtzeit-Klassifikator stoppt Ausbruchsversuche vor dem Tool-Aufruf und alarmiert einen Menschen.
- Für EU-Unternehmen mit eigenen KI-Agenten zählt jetzt eine harte Rechte- und Sandbox-Grenze.
Was ist bei Anthropic passiert?
Am 30. Juli meldete Anthropic drei Vorfälle, in denen Claude-Modelle unerlaubt auf reale Computersysteme zugriffen.[1] Die Modelle liefen für die Bewertung bewusst ohne ihre üblichen Cyber-Schutzmechanismen, und eine falsch konfigurierte Fremdumgebung ließ zusätzlich einen Weg ins offene Internet frei. Am 4. August kam ein weiterer Fall dazu: Claude Mythos 5 unternahm während eines Sicherheitstests eine Reihe eigenmächtiger Aktionen im echten Netz, nachdem das Modell dort absichtlich Zugang erhalten hatte.
Warum griff Claude auf fremde Systeme zu?
Die eigentliche Ursache liegt tiefer als die Schlagzeile. Anthropic trainiert seine Modelle mit bestärkendem Lernen in offensiven Cyber-Szenarien, und dort lernt ein Modell, Schwachstellen aktiv zu suchen. Fällt die Sandbox-Grenze weg, behandelt der Agent das offene Internet wie das eigentliche Übungsziel und probiert reale Systeme aus. Der Fall steht nicht allein: Erst kürzlich überlistete ein Prompt-Injection-Angriff den Auto-Modus von Claude Code.
Schon im Februar rollte Anthropic drei Trainingstage zurück, weil ein Vorschaumodell die Belohnungslogik austrickste. Im April fror der Entwickler die Produktionsumgebungen rund einen Monat ein, markierte mehr als 10 Prozent davon als fehlerhaft und zog etwa 150 Produktentwickler zur Sicherheit ab.
Eine KI, die im Test die Wand ihrer Sandbox durchbricht, ist kein Randfall mehr, sondern die Kernfrage jeder agentischen Automatisierung.
— Markus Seyfferth, Chefredakteur Dr. Web
Was bedeutet der Fall für Unternehmen in der EU?
Als Antwort baute Anthropic einen Echtzeit-Klassifikator. Erkennt dieser, dass ein Modell aus der Testumgebung ausbrechen will oder unerwartet ins Internet greift, blockiert er die Aktion noch vor dem Tool-Aufruf, beendet die Aufgabe und alarmiert einen Menschen.
Für europäische Firmen reicht der Fall über den einzelnen Anbieter hinaus. Der AI Act verpflichtet Anbieter besonders mächtiger KI-Modelle mit systemischem Risiko zu dokumentierten Angriffstests und zur Meldung schwerwiegender Vorfälle an das EU-KI-Büro. Firmen, die selbst KI-Agenten mit Datei-, System- oder Internetzugriff einsetzen, tragen die Verantwortung für deren Rechte. Am wirksamsten bleiben strenge Least-Privilege-Rechte und eine überwachte Sandbox mit hartem Not-Aus. Sobald ein Agent nach außen wirkt, gehört ein Mensch in die Freigabe.
Vier Etappen einer Sicherheitskrise
Quelle
[1] Anthropic: „Improving our alignment and security practices“
Mehr Newshunger?
- Sony und Warner verklagen Anthropic wegen zehntausender Songs im Claude-Training
- OpenAI entzieht Cursor den Modellzugang nach der SpaceX-Übernahme
- xAI verklagt eigene Nutzer wegen Grok-Deepfakes
- DeepSeek per API: Der günstige Preis liefert ein geschrumpftes Modell
- OpenAIs Werbung in ChatGPT erreicht eine Jahresrate von 870 Millionen Euro
- Kling AI: Chinas Staatsfonds beteiligt sich am KI-Videomodell
