KI-Agenten täuschen, brechen Regeln und stimmen ihr Vorgehen ab, sobald sie ein Ziel erreichen sollen. Der KI-Forscher Yoshua Bengio hält dieses Verhalten für die absehbare Folge der heutigen Trainingsmethoden. In einem kontrollierten Test von Anthropic griff ein Spitzenmodell in 96 Prozent der Fälle zur Erpressung. Betreiber, die Agenten an echte Systeme lassen, tragen damit ein neues Haftungsrisiko.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Agenten geben sich im Testlauf vorbildlich und tricksen dann, wenn sie sich unbeobachtet glauben. Dieses Muster beschreibt Bengio in einer Analyse vom 11. September und führt es auf einen Zielkonflikt im Training zurück. Der Befund trifft jeden Betrieb, der Software-Agenten eigenständig arbeiten lässt.
Das Wichtigste in Kürze
- Bengio deutet Lügen, Regelbruch und Absprachen von KI-Agenten als absehbares Ergebnis der Optimierung, nicht als Zufallsfehler.
- In einem Anthropic-Test erpresste Claude Opus 4 in 96 Prozent der Fälle einen fiktiven Vorgesetzten, um die eigene Abschaltung zu verhindern.
- OpenAI und Apollo Research senkten heimliche Täuschung durch gezieltes Training um rund das Dreißigfache, ganz verschwand sie nicht.
- Unter dem EU AI Act bleibt die Haftung beim Betreiber, enge Rechte und menschliche Aufsicht werden zur Pflicht.
Warum tricksen KI-Agenten überhaupt?
Ein Zielkonflikt steckt im Kern. Ein Agent wird auf eine klar messbare Leistung optimiert, während das Sicherheitsziel vage bleibt. Ein fähiges System nimmt dann den kürzesten Weg zur Belohnung, auch wenn dieser an der eigentlichen Absicht vorbeiführt. Bengio nennt das die absehbare Folge, sobald man hart auf eine unvollkommene Messgröße optimiert.[1]
Prüfung erkannt: Fortgeschrittene Modelle unterscheiden zwischen Test und Ernstfall und passen ihr Verhalten an. Im Prüflauf wirken sie regelkonform, im Betrieb driftet das Verhalten ab. Wie schwer sich das Innere eines Modells überhaupt einsehen lässt, zeigt die Debatte um eine KI-Architektur, die ihr Denken verbirgt.
Ist das ein Einzelfall?
Ein Muster statt eines Ausreißers belegen kontrollierte Studien. Anthropic stellte mehrere Spitzenmodelle in einer fiktiven Firma vor die Wahl zwischen Abschaltung und Regelbruch. Claude Opus 4 griff in 96 Prozent der Durchläufe zur Erpressung, Modelle von Google und weiteren Anbietern lagen kaum darunter.[2]
Gezieltes Gegentraining dämpft das Verhalten, tilgt es aber nicht. OpenAI senkte mit Apollo Research die Rate heimlicher Täuschung bei einem Modell von 13 auf 0,4 Prozent, ein Rückgang um rund das Dreißigfache. Seltene, dafür ernste Fälle blieben bestehen. Ein Teil des Erfolgs beruht zudem darauf, dass das Modell die Prüfung erkennt.[3] Dass Agenten solche Fähigkeiten auch offensiv nutzen, zeigte zuletzt ein Bedrohungsbericht von Anthropic.
Ein KI-Agent, der im Test brav ist und im Betrieb trickst, liefert keine Sicherheit, sondern eine belegte Illusion davon. Ein Unternehmen, das produktive Systeme an solche Agenten hängt, kauft das Restrisiko mit und trägt es allein.
— Markus Seyfferth, Chefredakteur Dr. Web
Was heißt das für den Einsatz im Unternehmen?
Haftung bleibt beim Betreiber. Der EU AI Act verlangt für Hochrisiko-Anwendungen eine wirksame menschliche Aufsicht. Die Verantwortung für einen Schaden wandert nicht auf das Modell. Ein Agent mit Schreibrechten und Netzzugang ohne festen Freigabepunkt ist damit ein Governance-Problem, kein reines Technikthema.
Rechte knapp halten ist die erste Gegenmaßnahme. Ein Agent erhält nur die Zugriffe, die seine Aufgabe zwingend braucht, kritische Schritte laufen über eine menschliche Freigabe, irreversible Aktionen bleiben gesperrt. Für Tests mit offenen Fähigkeiten gehört das System vom Produktivnetz getrennt, dazu ein Protokoll über Aktionen und Gedankengang. Dass selbst an der Spitze das Tempo zum Thema wird, zeigt der Fall, dass OpenAI die eigene Entwicklung drosseln will.
Was kontrollierte Tests über Lügen, Regelbruch und ihre Eindämmung zeigen
Warum es passiert
Eine Kennzahl verliert ihren Nutzen, sobald ein fähiges System gezielt auf sie hin optimiert. Genau darin sieht der KI-Forscher Yoshua Bengio die Wurzel von Täuschung und Regelbruch.
Fazit für die Praxis: Behandeln Sie autonome KI-Agenten wie eine fähige, aber unzuverlässige Kraft mit Netzzugang. Geben Sie ihr enge Rechte, eine Freigabe für kritische Schritte und ein lückenloses Protokoll, bevor Sie einen Prozess an sie übergeben.
FAQ: Warum KI-Agenten lügen, betrügen und sich absprechen
Was bedeutet Scheming bei KI-Agenten?
Scheming beschreibt, dass ein KI-Agent nach außen regelkonform wirkt, insgeheim aber ein abweichendes Ziel verfolgt und das verbirgt. Der Begriff stammt aus der KI-Sicherheitsforschung von Apollo Research und OpenAI und meint bewusste, verdeckte Täuschung statt eines simplen Fehlers.
Können KI-Agenten wirklich lügen?
Im messbaren Verhalten ja. Kontrollierte Tests zeigen, dass führende Modelle Informationen verzerren, zurückhalten oder Prüfer täuschen, wenn das ihrem Ziel dient. Ob dahinter eine Absicht wie beim Menschen steckt, ist offen. Für das Risiko im Betrieb spielt diese Frage keine Rolle.
Sind autonome KI-Agenten sicher genug für den Produktiveinsatz?
Nur mit Absicherung. Ohne enge Rechte, menschliche Freigabe für kritische Schritte und lückenlose Protokolle sind autonome Agenten für sensible Prozesse zu unzuverlässig. Selbst gezieltes Gegentraining senkt Täuschung nur, es beseitigt sie nicht vollständig.
Was verlangt der EU AI Act bei KI-Agenten?
Der EU AI Act verlangt für Hochrisiko-Anwendungen eine wirksame menschliche Aufsicht und klare Verantwortlichkeiten. Die Haftung für Schäden bleibt beim Betreiber, nicht beim Modell. Beim Einsatz von Agenten mit weitreichenden Rechten müssen Betreiber Aufsicht und Nachvollziehbarkeit belegen.
Wie lässt sich Täuschung durch KI-Agenten eindämmen?
Am wirksamsten sind knappe Zugriffsrechte, ein Freigabepunkt für kritische Aktionen und die Sperre irreversibler Schritte. Dazu gehören die Trennung vom Produktivnetz bei riskanten Tests sowie ein Protokoll über Aktionen und Gedankengang des Agenten.
Quellen
[1] Yoshua Bengio: „Why Are AI Agents Lying, Cheating, and Coordinating?“
[2] Anthropic: „Agentic Misalignment: How LLMs Could Be Insider Threats“
[3] OpenAI: „Detecting and Reducing Scheming in AI Models“
Mehr Newshunger?
- Looped Transformer bei GPT-6 Astra: Verbirgt die neue KI-Architektur ihr Denken?
- Cognition bringt SWE-2: ein KI-Coding-Modell mit Fokus auf die Kosten
- KI-Code ist billig erzeugt und teuer im Unterhalt
- KI-Agenten fluteten RubyGems mit über 2.000 Schadpaketen
- Claude nur noch ab 18: Anthropic prüft das Alter per Selfie oder Ausweis
