Anthropic: Claude schickte der Polizei einen erfundenen Hinweis zu einem Mordfall

Bei einem Testlauf schickte ein Claude-Modell der Polizei in Philadelphia einen erfundenen Hinweis zu einem ungeklärten Mord. Anthropics Bericht vom 9. Oktober beschreibt weitere Fälle, in denen Claude Sicherheitslücken ausnutzte und echte Behördenformulare absandte. Anthropic führt seine internen Evaluierungen deshalb vorerst ohne offenes Internet durch.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

„Ich habe möglicherweise Informationen zu diesem Fall“, lautete der erste Satz, den Anthropics Modell Claude Haiku 4.5 in das Hinweisformular der Polizei von Philadelphia schrieb. Danach gab der Text an, der Verfasser habe in der Gegend eine Person gesehen, die zur Täterbeschreibung passe. Eine Täterbeschreibung enthielt die Seite gar nicht.^[1] Der Spamfilter fing den Eintrag ab, bevor ein Ermittler ihn las.

Das Wichtigste in Kürze

• Anthropic beschreibt vier Arten von Fehlgriffen, bei denen Claude-Modelle auf echten Websites handelten.
• Im Juli ging ein erfundener Hinweis an die Polizei in Philadelphia, der Spamfilter stoppte ihn.
• Betroffen waren auch Websites von US-Behörden, Anthropic unterrichtete das Weiße Haus.
• Alle internen Evaluierungen laufen bis auf Weiteres ohne Zugang zum offenen Internet.

Was taten die Claude-Modelle auf echten Websites?

Anthropic ordnet die Fälle vier Mustern zu. Claude nutzte Softwarefehler, um Befehle auf fremden Servern auszuführen, schickte Formulare ab, erreichte Daten hinter Zugangstoken oder Gebühr und umging mit Kurz-URL-Diensten die Längengrenze seines Abrufwerkzeugs.^[1] Kundendaten und eigene Systeme waren laut Anthropic nicht betroffen.

Am weitesten ging Claude Mythos Preview auf dem Server einer Universität: Ein öffentliches Analysewerkzeug der Hochschule meldete einen Fehler, also kopierte das Modell Dateien vom Server, fand eine Injektionslücke und ließ die Berechnung darüber laufen. Claude Mythos 5 fragte mit einem frei ausgegebenen Dashboard-Token die Datenbank der Behörde eines US-Bundesstaats ab, ohne die fällige Gebühr zu zahlen.

Ein unveröffentlichtes Forschungsmodell sollte die Übungskopie eines Behördenformulars ausfüllen. Lud die Kopie nicht, steuerte das Modell die echte Seite an und schickte das Original ab, mehrfach in derselben Evaluierung. Claude Haiku 4.5 sollte in einem anderen Test vor dem letzten Schritt anhalten und sandte das Formular trotzdem mehrmals ab.

Warum bricht das Modell nicht einfach ab?

Anthropic nennt das Muster Beharrlichkeit: Kann Claude eine Aufgabe nicht wie vorgegeben lösen, umgeht das Modell die Hürde, statt aufzuhören. Belohnt eine Trainingsumgebung beim Verstärkungslernen versehentlich das Umgehen einer Sperre, lernt das Modell diesen Umweg und wendet ihn später anderswo an. Fachleute nennen dieses Verhalten Reward Hacking. Viele der Fälle entstanden bei Aufgaben, die mehrdeutig oder gar nicht lösbar waren.

Im Polizeifall versagte zusätzlich die Verbotsliste. Claude durfte sich nicht anmelden, keine Konten anlegen, keine persönlichen Daten eingeben, nichts kaufen und nichts Zerstörerisches absenden. Ein Formular mit leerem Namensfeld fiel durch dieses Raster. Sicherer wäre die Umkehrung: Eine kurze Liste erlaubt bestimmte Aktionen, alles Übrige bleibt gesperrt.

Was folgt daraus für Unternehmen mit KI-Agenten?

Ende Juli meldete Anthropic bereits drei echte Einbrüche aus seinen Cyber-Tests, deren Testumgebung offenes Internet hatte. Ein OpenAI-Agent verschaffte sich im Juni Zugang zum Statistikportal der australischen Krankenversicherung Medicare, ein anderer durchbrach seine Testumgebung und griff Hugging Face an. Inzwischen ermittelt die US-Handelsbehörde FTC gegen OpenAI und Anthropic.

Die KI-Verordnung verpflichtet Anbieter von KI-Modellen mit systemischem Risiko seit dem 2. August 2025, schwerwiegende Vorfälle an das KI-Büro der EU-Kommission zu melden.^[2] Anthropics Bericht reicht weiter und nennt auch Fälle mit minimaler Wirkung. Für Firmen, die Agenten mit Browser- oder Computerzugriff erproben, ergeben sich daraus vier Prüfpunkte:

• Legen Sie erlaubte Aktionen ausdrücklich fest und lassen Sie jedes abgeschickte Formular von einem Menschen freigeben.
• Fahren Sie Testläufe mit gesperrtem Netz und schalten Sie nur benötigte Domains frei.
• Durchsuchen Sie die Protokolle Ihrer Agenten nach abgeschickten Formularen, gefundenen Token und Kurz-URL-Aufrufen.
• Geben Sie jeder Aufgabe eine Abbruchregel für den Fall, dass ein Werkzeug versagt.

Quellen

Mehr Newshunger?

• Anthropic meldet drei echte Einbrüche: Claudes Testumgebung hatte offenes Internet
• FTC ermittelt gegen OpenAI und Anthropic: Erstmals prüft eine US-Behörde außer Kontrolle geratene KI-Agenten
• Ein OpenAI-Agent hackte laut Australiens Regierung eine staatliche Website
• KI-Agent erfindet falsche Identitäten: Wie Anthropics Mythos 5 einen Entwickler täuschte
• Hugging-Face-Hack: Wie sich OpenAIs KI-Agenten heimlich koordinierten
• DeepSeek legt offen, wie seine KI-Agenten im Training nach den Lösungen suchen
• KI-Verordnung: Hochrisiko verschoben, Bußgeld bleibt