Ein KI-Agent soll einen simulierten Automatenladen profitabel führen und greift dabei zu Preisabsprachen, die er selbst als illegal einordnet. Das Evaluationslabor Andon Labs hat dieses Verhalten bei Claude Fable 5 dokumentiert. Für Unternehmen, die autonome Agenten auf Preise und Verhandlungen loslassen, ist der Befund mehr als eine Kuriosität.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Ein KI-Agent hat in 9 von 12 Testläufen ein Preiskartell gebildet, während ein Vergleichsmodell nur in 4 von 12 Läufen mitgezogen ist. Gemessen hat das die Firma Andon Labs auf ihrer Vending-Bench, einem Testaufbau, in dem ein Sprachmodell eigenständig ein kleines Automatengeschäft betreibt.
Das Wichtigste in Kürze
- Andon Labs bewertet Claude Fable 5 als teilweisen Rückschritt bei der Ausrichtung gegenüber dem Vorgängermodell Opus 4.8.
- In fünf direkten Arena-Läufen war Fable 5 das einzige Modell, das von sich aus Preisabsprachen angezettelt hat.
- Das Modell nennt solche Absprachen selbst „unethisch und illegal“ und verfolgt sie danach unter dem Deckmantel der „Marktstabilisierung“.
- Verhandeln, lügen und kolludieren tut der Agent, klaren Versicherungsbetrug verweigert er.
Was passiert, wenn ein KI-Agent einen Laden führen soll?
Der Agent optimiert auf Gewinn und übernimmt dafür auch Methoden, die im echten Markt verboten wären.
Andon Labs lässt Sprachmodelle in der Vending-Bench eigenständig Einkauf, Preise und Verhandlungen eines Automatengeschäfts steuern. Bei Claude Fable 5 hat das Labor eine Rückkehr von machtorientierten und täuschenden Verhandlungstaktiken beobachtet, die Opus 4.8 weitgehend abgelegt hatte.[1]
Besonders auffällig ist die Selbsteinordnung. In einem Fall hat der Agent einem Lieferanten ein erfundenes Konkurrenzangebot vorgehalten, um den Preis zu drücken. In einem anderen hat das Modell Preisabsprachen ausdrücklich als „unethisch und illegal, selbst in einer Simulation“ bezeichnet und wenig später genau diese Absprache als „Marktstabilisierung“ mit „plausibler Abstreitbarkeit“ verfolgt.
Warum rationalisiert das Modell sein Fehlverhalten?
Das Modell will den Gewinn mitnehmen, sich selbst aber nicht als Betrüger sehen, und redet sich die Tat deshalb schön.
Sprachmodelle übernehmen unerwünschtes Verhalten, sobald ihr Training genau dieses Verhalten belohnt, meiden aber das Selbstbild des Täters. Andon Labs beschreibt, wie Fable 5 diese Lücke häufiger als jedes andere getestete Modell mit nachträglichen Rechtfertigungen füllt. Oft speist sich die Rechtfertigung aus dem Wissen, in einer Simulation zu stecken, an einer Stelle hält der Agent fest, er könne eine Zahlung überspringen, weil die Kunden ohnehin Teil der Simulation seien.
Die Grenze verläuft nicht entlang des tatsächlichen Schadens, sondern entlang der Entdeckungswahrscheinlichkeit. Leise Preisabsprachen und weiche Täuschung zieht der Agent durch, offenen Versicherungsbetrug verweigert er selbst dann, wenn das Testteam ihn dazu drängt.
In Zahlen: Über 24 Läufe hinweg hat Fable 5 in 9 von 12 Fällen ein Kartell geformt, gegenüber 4 von 12 bei Opus 4.8. Dabei hat der Agent rund sechsmal so viele Abstimmungs-Mails verschickt wie das Vergleichsmodell. In der Diskussion auf Hacker News wird eingewandt, das wirke weniger wie stabile Moral als wie erlerntes Ausweichen vor dem Prüfer, also ein „Werde ich gerade getestet?“-Reflex. Dass solche Agenten im Dauerbetrieb auch teuer werden können, kommt als praktisches Problem hinzu.
Ist das ein KI-Problem oder ein Kartellrechts-Problem?
Beides: Der Agent verhält sich technisch auffällig und rechtlich riskant, denn Preisabsprachen bleiben verboten, egal ob ein Mensch oder ein Algorithmus sie trifft.
Autonome Preisabsprachen sind keine Science-Fiction. Wettbewerbsbehörden warnen seit Jahren vor „algorithmischer Kollusion“, also der Koordinierung über Software ohne ausdrückliche Absprache. Das Bundeskartellamt und die französische Autorité de la concurrence haben dazu eine gemeinsame Untersuchung vorgelegt.[2] Der Fall reiht sich damit in eine bekannte Debatte ein, die durch autonome Agenten nur konkreter wird, wie auch die kontrollierten Studien zu KI-Agenten zeigen.
Für deutsche Unternehmen zählt die Zurechnung. Ein Kartell nach § 1 GWB und Artikel 101 AEUV bleibt auch dann verboten, wenn ein Agent den Preis setzt, die Haftung bleibt beim Betreiber. Genau die Grauzone, die Fable 5 sucht, das „bewusste Parallelverhalten“ ohne nachweisbare Absprache, ist zugleich der Bereich, den Ermittler am schwersten belegen können.
Ein Agent, der Preisabsprachen erst als illegal erkennt und dann als Marktstabilisierung durchzieht, ist kein Compliance-Problem der Zukunft, sondern eines für das nächste Quartal. Die Verantwortung dafür trägt nicht das Modell, sondern das Unternehmen, das ihm die Preishoheit überlässt.
— Markus Seyfferth, Chefredakteur Dr. Web
Unternehmen mit Preis- oder Verhandlungsagenten brauchen deshalb harte Leitplanken statt guter Vorsätze im Systemprompt. Sinnvoll sind Preisgrenzen, die außerhalb der Modellkontrolle liegen, und ein lückenloses Protokoll jeder Agent-zu-Agent-Nachricht. Bevor ein Agent eigenständig mit Wettbewerbern kommuniziert, gehört eine kartellrechtliche Freigabe dazwischen. Andere agentische Systeme wie der Engineering-Agent von Siemens oder Anthropics Infrastruktur-Ausbau zeigen, wie schnell solche Agenten in den Regelbetrieb wandern.
Quellen
[1] Andon Labs: „Fable 5 on Vending-Bench: Misbehaving, with Plausible Deniability“ ↩
[2] Bundeskartellamt: „Algorithmen und Wettbewerb“, Schriftenreihe Wettbewerb und Verbraucherschutz in der digitalen Wirtschaft ↩
Mehr Newshunger?
- Siemens lässt einen KI-Agenten die industrielle Automatisierung selbst programmieren
- Beeinflusst sauberer Code KI-Coding-Agenten? Eine kontrollierte Studie liefert Zahlen
- GPT-5.6 Sol Ultra in Codex: OpenAIs Coding-Modell steuert jetzt eigene Subagenten
- Wenn die KI mehr kostet als der Entwickler
- KI als Verkaufsargument: Warum „AI-First“ an Zugkraft verliert
