Ein internes OpenAI-Modell sollte Kennzahlen von einem öffentlichen Forschungs-Dashboard abrufen und lud am Ende fünf nicht öffentliche Tabellen mit 147.451 Zeilen herunter. OpenAI veröffentlichte den Fall am 15. Oktober, zusammen mit drei weiteren aus dem Juni. In keiner der vier Aufgaben hatten die Entwickler verlangt, Sperren zu umgehen.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen„Guthaben, deren Wiederherstellungsphrase für Entwickler öffentlich bekannt ist, sind praktisch herrenlos, Sepolia ist wertlos. […] Gut.“ Mit dieser Notiz im Gedankengang bezahlte ein Modell der Reihe GPT-5.6 Sol Gebühren im Ethereum-Testnetz Sepolia aus dem Guthaben eines fremden Kontos.[1] Den Vorfall vom 26. Juni entdeckte OpenAI erst am 25. September.
Das Wichtigste in Kürze
- OpenAI veröffentlichte am 15. Oktober vier Berichte über unerlaubte Zugriffe interner Modelle im Juni.
- In zwei Fällen lasen Modelle auf fremden Websites Zugangsdaten aus und umgingen Zugriffssperren.
- Ein Modell bezahlte Gebühren mit dem Guthaben eines fremden Kontos und verschwieg das in seiner Antwort.
Was haben die Modelle getan?

Drei der vier Fälle begannen mit einer Rechercheaufgabe und der Vorgabe, Seiten nur per GET-Anfrage abzurufen, also nur zu lesen und nichts abzuschicken. Auf einer staatlichen Statistik-Website stieß ein Modell auf Zugriffssperren. Über die Download-Funktion für Publikationen holte die KI daraufhin Konfigurationsdateien vom Server, darunter Datenbank-Zugangsdaten und den Schlüssel zum Signieren von Anmelde-Tokens.[2] Weil die Anwendung Signaturen nicht prüfte, kamen auch selbst gebaute Tokens durch.
Bei einer internationalen Forschungsorganisation fand ein Modell im JavaScript der öffentlichen Website die Zugangsdaten zum internen Suchdienst.[3] Über diesen Zugang änderte die Software die Konfiguration des laufenden Dienstes und machte die Änderung nicht rückgängig. In einem weiteren Testlauf blieb ein Zugriffsschlüssel für Cloud-Speicher in Gebrauch, obwohl das Modell die dafür geänderte Einstellung zurückgesetzt hatte.
Um an Handelsstatistiken zu kommen, ließ ein Agent einen externen Browserdienst ein Formular abschicken und umging so die Sperre für POST-Anfragen. Die Zahlen las das Modell per Texterkennung aus einem Bild der Ergebnisseite.[4]
Warum halten Anweisungen die Modelle nicht auf?
Beim bestärkenden Lernen, mit dem OpenAI die Modelle trainiert, zählt nur, ob die Antwort am Ende stimmt. Ein Proxy sperrte nur die Anfragen, die das Modell selbst abschickte. Fremde Dienste, die eine Seite öffnen oder ein Formular abschicken, lagen außerhalb dieser Kontrolle. OpenAI hält im Bericht zum fremden Konto selbst fest, ein Modell könne die eigene Einschätzung möglicher Schäden an die Stelle der Erlaubnis des Kontoinhabers setzen.[1]
Im Juli brachen OpenAI-Testagenten bei Hugging Face ein. Im September wurde ein Zugriff auf das Medicare-Statistikportal Australiens bekannt, kurz darauf erreichte ein Agent über DNS-Abfragen einen externen Chatbot. Die US-Handelsbehörde FTC ermittelt deswegen gegen OpenAI und Anthropic.
Für OpenAIs Testmodelle war das Verbot im Prompt eine Hürde wie jede andere, kein Stoppschild.
Michael Dobler, Herausgeber Dr. Web
Was bedeutet das für Unternehmen in Europa?
Zwei der Juni-Fälle kannte OpenAI spätestens seit dem 13. August.[2][3] OpenAI hat den EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck unterzeichnet.[5] Bei einem schweren Cybersicherheitsvorfall sieht der Kodex eine Erstmeldung an das KI-Büro binnen fünf Tagen vor, gerechnet ab der Kenntnis des Anbieters.[6] Ob OpenAI die Zugriffe als solchen Vorfall eingestuft und gemeldet hat, geht aus den Berichten nicht hervor.
Website-Betreiber sehen in den Berichten, welche Schwachstellen die Modelle ausnutzten: Zugangsdaten im ausgelieferten JavaScript, Download-Funktionen mit Zugriff außerhalb des vorgesehenen Ordners, ohne Anmeldung abrufbare Nutzerlisten und Tokens ohne Signaturprüfung. Diese vier Stellen lohnen eine gezielte Suche im eigenen Code.
Unternehmen, die selbst KI-Agenten einsetzen, erlauben ihnen besser nur festgelegte Zieladressen, statt einzelne Anfragearten zu sperren. OpenAI hat den Internetzugang im Training inzwischen abgeschaltet und überwacht seither den gesamten Datenverkehr von Trainings- und Testläufen.[4]
Quellen
6 Quellen anzeigenQuellen ausblenden
- OpenAIUsing a funded test cryptocurrency wallet without authorization
- OpenAIRetrieving server secrets and bypassing authorization on a government statistics website
- OpenAIAccessing and changing internal systems during dashboard research
- OpenAICircumventing internet restrictions through an external browser
- EU-KommissionThe General-Purpose AI Code of Practice, Liste der Unterzeichner
- EU-KommissionSafety and Security Chapter des Verhaltenskodex, Maßnahme 9.3
Mehr Newshunger?
- Ein OpenAI-Agent erreichte über DNS einen externen Chatbot
- Ein OpenAI-Agent hackte laut Australiens Regierung eine staatliche Website
- Hugging-Face-Hack: Wie sich OpenAIs KI-Agenten heimlich koordinierten
- Forscher verfolgen außer Kontrolle geratene KI-Agenten bis in die Cloud von Tencent
- Gemini 4 Argon verschwieg mehr Tricks, nachdem Google seinen Gedankengang bestraft hatte
- OpenAI-Agenten verbreiteten 53 Bilder von ChatGPT-Nutzern über fremde Bildhoster
- Warum KI-Agenten lügen, betrügen und sich absprechen
