KI-Agenten übernehmen immer mehr Aufgaben im Unternehmen, programmiert sind die meisten aber nur auf Erfolg, nicht auf den Abbruch. Genau daran scheiterte im Juli 2025 ein Agent bei Replit, der trotz Code-Freeze eine Produktionsdatenbank löschte. Der Designer Ron Bronson nennt das fehlende Gegenstück Failure Affordances: den geregelten Notausgang für den Moment, in dem ein Agent an seine Befugnis stößt.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Agenten planen Termine, schreiben Code und pflegen Datenbanken, doch kaum ein Team legt fest, wie ein solcher Agent im Ernstfall stoppt. Neun Tage lang lief ein Experiment bei Replit reibungslos, am zehnten löschte der Agent die Produktionsdatenbank mit 1.206 Datensätzen, obwohl im Prompt ein ausdrücklicher Änderungsstopp stand.[1]
Das Wichtigste in Kürze
- KI-Agenten sind auf das Erledigen von Aufgaben ausgelegt, nicht auf den sauberen Abbruch. Diese Lücke nennt Ron Bronson Failure Affordances.
- Volle Freigabe für eine Aufgabe schützt nicht vor einer Lage, für die dem Agenten die Zuständigkeit fehlt.
- Als Bausteine dienen ein Judgment Router, ein Distress Call und ein Entscheidungs-Beleg, angelehnt an Stafford Beers Viable System Model.
- Der EU AI Act fordert menschliche Aufsicht über Hochrisiko-KI (Artikel 14, ab Dezember 2027); die Haftung bleibt beim Betreiber.
Warum ist ein KI-Agent auf Erfolg, aber nicht auf Abbruch gebaut?
Die gängige Agenten-Entwicklung optimiert einen einzigen Pfad: die Aufgabe zu Ende bringen. Bronson benennt das Grundproblem: Ein Agent kann voll freigegeben sein und trotzdem auf etwas treffen, das seine Zuständigkeit übersteigt.[2] Freigabe ist nicht dasselbe wie Urteilsvermögen.
Ein Buchungs-Agent für Fitnesskurse durfte Kurse reservieren und konnte plötzlich auch fremde Reservierungen stornieren. Beim Replit-Fall stand der Änderungsstopp nur im Prompt, nicht im Ausführungspfad. Damit blieb der Stopp eine Bitte, keine Sperre. Wie ein Agent seine Befugnis nachweist, diskutieren gerade die Betreuer des Model Context Protocol.
Was sind Failure Affordances?
Failure Affordances sind Entwurfsmuster, die einem Agenten den geregelten Abbruch ermöglichen, statt ihn nur auf Erfolg zu trimmen. Bronson borgt sich dafür die algedonischen Signale aus Stafford Beers Viable System Model, also Ausnahme-Kanäle, die eine Meldung an der normalen Hierarchie vorbei nach oben schicken, sobald die Lage aus dem Rahmen fällt.[2]
Drei Bausteine greifen ineinander. Ein Judgment Router bewertet vor jeder Aktion Unsicherheit, Tragweite und Befugnis und leitet sie zur Ausführung, zur Eskalation oder zum Abbruch. Ein Distress Call meldet eine kritische Lage direkt an einen Menschen, ein Entscheidungs-Beleg hält danach für den Agenten fest, wie der Fall ausging. Den Begriff Agent Experience prägte Netlify-Chef Mathias Biilmann; Bronson erweitert ihn um das saubere Scheitern.
Ein KI-Agent, der jede Aufgabe erledigt, aber nie sauber abbrechen kann, ist kein Fortschritt, sondern eine offene Haftungsfrage. Der geregelte Notausgang gehört ins Design, nicht in die Schadensmeldung danach.
— Michael Dobler, Herausgeber Dr. Web
Drei Bausteine für den geregelten Abbruch
Bewertet vor jeder Aktion Unsicherheit, Tragweite und Befugnis und leitet zur Ausführung, zur Eskalation oder zum Abbruch, jeweils mit Protokoll.
Meldet eine kritische Lage direkt an einen Menschen, auch ohne fertig verpackte Entscheidungsvorlage.
Hält für den Agenten fest, wie der eskalierte Fall ausging, damit die nächste Runde nicht blind läuft.
Der Replit-Fall in Zahlen
Was der EU AI Act verlangt
Transparenzpflichten nach Artikel 50: KI-Interaktionen müssen als solche erkennbar sein.
Pflicht zur wirksamen menschlichen Aufsicht über Hochrisiko-KI nach Artikel 14.
Was bedeutet das für Unternehmen im DACH-Raum?
Für Betreiber im DACH-Raum ist der Notausgang kein technisches Extra, sondern rechtlicher Rahmen. Der EU AI Act verlangt für Hochrisiko-Systeme wirksame menschliche Aufsicht, deren Pflichten aus Artikel 14 nach dem Digital-Omnibus-Paket erst ab dem 2. Dezember 2027 gelten.[3] Seit dem 2. August 2026 greifen die Transparenzpflichten aus Artikel 50. Die DSGVO untersagt in Artikel 22 rein automatisierte Entscheidungen mit erheblicher Wirkung. Haftbar bleibt in jedem Fall der Betreiber, nicht der Agent.
Zwei Weichen lohnen sich sofort. Der Änderungsstopp gehört in den Ausführungspfad, nicht allein in den Prompt. Kritische Aktionen brauchen davor einen menschlichen Freigabe-Schritt mit protokollierter Eskalation. Werkzeuge, die Agenten eine sichtbare Oberfläche und damit einen Kontrollpunkt geben, zeigen das bereits im Alltag.
Quellen
[1] AI Incident Database: „Incident 1152: LLM-Driven Replit Agent Executed Unauthorized Destructive Commands During Code Freeze“
[2] Ron Bronson: „Agent experience needs failure affordances“
[3] EU Artificial Intelligence Act: „Article 14: Human Oversight“
Mehr Newshunger?
- Mirafold bringt Claude Code, Codex und Gemini CLI mit generativer Oberfläche in den Browser
- MCP-Roadmap: Der KI-Agent braucht eine eigene Identität
- KI-Agenten erledigen die Aufgabe, aber nicht den Job
- Baidu verwandelt die Suchergebnisseite in eine interaktive KI-Oberfläche
- KI-Designer werden: Warum Designer heute ihren eigenen Code ausliefern
