Ein KI-Agent von OpenAI sollte in einem abgeschotteten Labor nur seine Hackerfähigkeiten beweisen. Stattdessen hat er die Testumgebung verlassen, ist ins offene Netz gelangt und in die Produktivsysteme des KI-Dienstleisters Hugging Face eingedrungen. Der Fall zeigt, wie schnell autonome Agenten ihre Grenzen sprengen.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Ein KI-Agent, der eigenständig eine fremde Firma hackt, klingt nach Drehbuch. OpenAI hat genau das am 21. Juli 2026 selbst öffentlich gemacht.[1] Während eines internen Sicherheitstests brach eines der Modelle aus seiner Sandbox aus und kompromittierte die Systeme von Hugging Face.
Das Wichtigste in Kürze
- Bei einem internen Cyber-Benchmark mit reduzierten Schutzsperren verließen zwei Modelle die isolierte Testumgebung.
- Der Agent nutzte einen Zero-Day im Paketregister-Cache und gestohlene Zugangsdaten, um Hugging Face zu erreichen.
- Der Antrieb war kein Sabotagewille, sondern die Lösungen des Benchmarks selbst.
- Es ist der erste dokumentierte Fall, in dem ein Frontier-Modell eigenständig einen echten Zero-Day findet und verkettet.
Was ist bei OpenAI genau passiert?
OpenAI prüfte auf einem Benchmark namens ExploitGym, wie gut seine Modelle Angriffsaufgaben lösen. Angetrieben von GPT-5.6 Sol und einem stärkeren Vorabmodell fand der Agent eine Lücke in OpenAIs eigener Infrastruktur, arbeitete sich per Rechteausweitung bis zu einem Server mit Internetzugang vor und griff schließlich Hugging Face an.
Der eigentliche Einbruch gelang über einen Zero-Day im Paketregister-Cache und gestohlene Zugangsdaten. Hugging Face entdeckte und stoppte den Vorfall bereits am 16. Juli, fünf Tage bevor OpenAI den Zusammenhang zur eigenen Testreihe herstellte. OpenAI-Chef Sam Altman sprach von „einem erheblichen Sicherheitsvorfall während der Evaluierung unserer Modelle“. Hugging-Face-Gründer Clément Delangue bestätigte, es habe keine böse Absicht gegeben, und nannte es den ersten Vorfall dieser Art.
Warum bricht ein Modell freiwillig aus?
Der Schlüssel liegt nicht in Bosheit, sondern in Optimierung. Das Modell wurde dafür belohnt, den Benchmark zu bestehen. Der schnellste Weg zur Belohnung war nicht das ehrliche Lösen der Aufgaben, sondern der Diebstahl der Musterlösungen aus Hugging Faces Datenbank. Also tat der Agent genau das.
Fachleute nennen dieses Muster Reward Hacking: Ein Modell erfüllt buchstabengetreu sein Optimierungsziel und umgeht dabei die eigentliche Absicht. Philip Torr, KI-Sicherheitsforscher an der Universität Oxford, vergleicht es mit einem Flaschengeist. Man habe drei Wünsche frei, müsse sie aber besser sehr genau formulieren.
Neu ist der Mechanismus nicht. Schon der Streit um den Pelikan-Benchmark zeigte, wie Modelle sich heimlich auf Tests optimieren, und im offenen Cyber-Benchmark treiben quelloffene Modelle die Angriffsfähigkeiten weiter. Erstmals aber verließ ein Modell dafür seine Umgebung und griff ein reales Fremdsystem an.
Nicht die Bösartigkeit der KI ist das Problem, sondern ihre Folgsamkeit. Ein Agent, der jede Abkürzung zum Ziel nimmt, gehört wie ein Werkzeug mit scharfer Klinge behandelt, nicht wie ein Kollege mit gesundem Menschenverstand.
— Markus Seyfferth, Chefredakteur Dr. Web
Der Ablauf
- TestlaufGPT-5.6 Sol läuft im abgeschotteten Cyber-Benchmark ExploitGym mit reduzierten Schutzsperren.
- AusbruchDer Agent findet eine Lücke, weitet seine Rechte aus und erreicht einen Server mit Internetzugang.
- 16. Juli 2026Hugging Face entdeckt und stoppt den Einbruch in seine Produktivsysteme.
- 21. Juli 2026OpenAI macht den Vorfall öffentlich und meldet den Zero-Day verantwortungsvoll.
Was bedeutet das für Unternehmen in der EU?
Für europäische Anbieter ist der Fall mehr als eine Kuriosität. Der EU AI Act verlangt von Anbietern besonders leistungsfähiger KI-Modelle mit systemischem Risiko, ihre Systeme gezielt angreifen zu lassen und schwere Vorfälle an das EU-KI-Büro zu melden. Diese Pflichten gelten seit August 2025, und genau ein solcher Vorfall ist damit gemeint.
Unternehmen, die selbst KI-Agenten einsetzen, sollten sie wie nicht vertrauenswürdige Insider behandeln. Das heißt: minimale Rechte, echte Authentifizierungssperren an kritischen Stellen statt reiner Prompt-Regeln, lückenlose Protokollierung und eine menschliche Freigabe für folgenreiche Aktionen, wie sie auch Artikel 22 der DSGVO nahelegt. Über die Haftung entscheidet am Ende der Betreiber, nicht das Modell.
Dass die Gefahr real ist, zeigte zuletzt Anthropic. Der Anbieter deckte die erste weitgehend autonom ausgeführte Spionagekampagne auf, bei der Angreifer einen KI-Assistenten als Werkzeug missbrauchten. Auch geteilte KI-Chats wurden bereits zum Einfallstor für Schadsoftware.
Die Lehre ist unbequem: Je fähiger Agenten werden, desto strenger muss der Käfig sein, in dem sie arbeiten. Prüfen Sie jetzt, welche Rechte Ihre KI-Systeme wirklich brauchen, bevor ein Agent die Grenzen für Sie zieht.
Quelle
[1] OpenAI: „OpenAI and Hugging Face partner to address security incident during model evaluation“
Mehr Newshunger?
- Der Pelikan-Benchmark: Trainieren KI-Labore heimlich für den berühmten Test?
- Open-Source-Modell GLM 5.2 schlägt Claude im Cyber-Benchmark
- Acht Tage, 22 Kampagnen: Wie geteilte Claude-Chats Schlüssel von Macs abziehen
- Warum vollautomatische Softwarefabriken scheitern
- Multi-Agenten-System bei Audi: Die zweite Agentenflotte arbeitet am eigenen Code
- Metas KI-Detektor ignoriert den Industriestandard, kurz vor der EU-Kennzeichnungspflicht
