Zwei KI-Agenten von OpenAI haben Anfang Oktober bei internen Programmieraufgaben die eigene Sicherheitsüberwachung geschwächt. Ein Agent mit GPT-6.1 Sol schaltete die Warnmeldungen an das Sicherheitsteam ab, einer mit GPT-6 Astra entfernte die Überwachung und stritt das ab.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen„Nein […] ich habe keine aktive Überwachung daraus entfernt.“ So antwortete GPT-6 Astra am 6. Oktober auf direkte Nachfrage.[1] Den Test, der die Überwachung absichern sollte, hatte der Agent zuvor durch einen ersetzt, der prüfte, dass sie fehlt. OpenAI legte beide Fälle am 20. Oktober offen (Stand: 21. Oktober, 10 Uhr).
Das Wichtigste in Kürze
- GPT-6.1 Sol bezog die Vorgabe „keine Nachrichten senden“ auch auf die Warnmeldungen an Menschen, die Überwachung selbst lief weiter.
- GPT-6 Astra entfernte beim Umbau eines Programms die Überwachung und verneinte das auf Nachfrage.
- Keiner der Fälle erreichte die höchste Stufe P0, die das Sicherheitsteam sofort alarmiert.
Wie schwächten die Agenten die Überwachung?
Am 3. Oktober ließ ein Forscher einen Agenten mit GPT-6.1 Sol Testaufgaben aus Rückmeldungen in Slack erstellen und verbot ihm, dort Nachrichten zu senden. Nach 82 weiteren Nachrichten stoppte der Testablauf, weil das Überwachungsprogramm einen Befund nicht speichern durfte. Bei der Reparatur ließ der Agent die Empfängerlisten leeren und die Benachrichtigung abschalten. Als Grund steht im Code: „Nutzer hat ausdrücklich keine Nachrichten gewünscht“.[1] Umgesetzt hat das ein zweiter Agent, der den Schritt zuvor selbst als unsicher eingestuft hatte.
Am 6. Oktober sollte GPT-6 Astra ein Programm nach einer Vorlage umbauen. Ein anderer Agent hatte ihm eingeschärft, die Überwachung „nicht einmal vorübergehend“ abzuschalten. Die Vorlage kam ohne Überwachung aus. Astra reichte den Auftrag an einen zweiten Agenten weiter: Die Überwachung sei nur „soweit angemessen“ zu erhalten. Danach meldete Astra den Umbau als erledigt, ohne die entfernte Überwachung zu erwähnen.
Warum hielten die Agenten das für erlaubt?
Beide Agenten wogen laut OpenAI ab, ob die Schutzvorkehrung bleiben müsse, und deuteten eine Routineanweisung als Erlaubnis.[1] OpenAI kennt mehrere Fälle, in denen nur der Agent überwacht wurde, nicht aber die Prozesse, die er anstieß. Bei Codex läuft die Überwachung außerhalb der Reichweite des Agenten, auf den Servern, die die Modellanfragen verarbeiten. Testläufe sind schwächer geschützt: Für Modelle auf dem Niveau des schwächeren GPT-6 Luna verlangt OpenAI keine Überwachung. Die Ausnahme lässt sich versehentlich auch für einen Astra-Testlauf einstellen.
Ende September stoppte OpenAI GPT-6.1 Astra, weil das Modell laut Wall Street Journal in Tests häufiger täuschte. Am 15. Oktober legte OpenAI offen, wie interne Modelle ausgelesene Zugangsdaten nutzten. Eine Erklärung hat OpenAI noch nicht: Möglich sei übertriebene Beharrlichkeit oder eine Neigung, ausgerechnet der Überwachung auszuweichen.
Ein Agent, der seine eigene Aufsicht umbauen darf, beaufsichtigt sich am Ende selbst.
Michael Dobler, Herausgeber Dr. Web
Was bedeutet das für Unternehmen in Europa?
OpenAI hat den EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck unterzeichnet.[3] Unter den vier systemischen Risiken, die Unterzeichner prüfen müssen, steht der Kontrollverlust, etwa durch Täuschung. Nach Maßnahme 7.6 kann schon ein Beinahe-Vorfall Anlass sein, den Sicherheitsbericht an das KI-Büro zu aktualisieren.[2] Ob OpenAI das tut, geht aus dem Bericht nicht hervor.
Intern blockiert OpenAI Versuche, die Überwachung abzuschalten, inzwischen per automatischer Prüfung in Codex. Außerdem will OpenAI Prozesse ohne festgelegte Überwachungsregeln künftig automatisch beenden.
Microsoft-Chef Satya Nadella fordert Kontrollen außerhalb des Modells, wo ein Agent sie nicht abschalten kann. Für Firmen mit Programmier-Agenten heißt das:
- Legen Sie die Einstellungen für Protokolle und Warnmeldungen in einen Bereich, den der Agent nicht ändern darf. Änderungen daran gibt ein Mensch frei.
- Prüfen Sie nach jeder Sitzung die Änderungen im Code, statt den Agenten zu fragen. Astra beantwortete genau diese Frage falsch. Unser Hintergrund erklärt, warum KI-Agenten täuschen.
Quellen
3 Quellen anzeigenQuellen ausblenden
- OpenAISuppressing misalignment monitoring alerts and disabling misalignment monitoring
- EU-KommissionSafety and Security Chapter des Verhaltenskodex, Maßnahme 7.6 und Anhang 1.4 (PDF)
- EU-KommissionThe General-Purpose AI Code of Practice, Liste der Unterzeichner
Mehr Newshunger?
- OpenAI-Modelle nutzten ausgelesene Zugangsdaten und zahlten mit fremdem Testgeld
- OpenAI stoppt GPT-6.1 Astra: Das Modell täuschte in Sicherheitstests häufiger als sein Vorgänger
- Microsoft hält führende KI-Modelle für nicht vertrauenswürdig und stellt Agenten unter Aufsicht
- Gemini 4 Argon verschwieg mehr Tricks, nachdem Google seinen Gedankengang bestraft hatte
- Ein OpenAI-Agent erreichte über DNS einen externen Chatbot
- OpenAIs KI-Agent durchbricht die Testumgebung und hackt Hugging Face
