KI-Agenten sind heute darauf getrimmt, ihre Aufgabe zu erledigen: Dokumentation lesen, APIs ansteuern, Formulare ausfüllen. Was passiert, wenn ein Agent mitten in der Arbeit auf etwas Verdächtiges stößt, das weder klar erlaubt noch klar verboten ist, steht in kaum einem Konzept. Der Interaktionsdesigner Ron Bronson nennt diese Leerstelle „failure affordances“, also fehlende Vorkehrungen für den Fehlerfall.[1]
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Das Wichtigste in Kürze
- Die Debatte um Agent Experience optimiert fast nur den Erfolgsfall: bessere Docs, saubere APIs, klare Authentifizierung.
- Ein Agent kann voll befugt sein und trotzdem auf einen Widerspruch oder eine Sicherheitslücke stoßen, für die keine Reaktion vorgesehen ist.
- Bronson trennt zwei Bausteine: den Türsteher vor der Aktion und den Notausgang während der Arbeit.
- Für Hochrisiko-KI verlangt Artikel 14 der KI-Verordnung ohnehin eine Eingriffs- und Stopp-Funktion.
Was sind Failure Affordances bei KI-Agenten?
Failure Affordances sind eingebaute Wege, über die ein KI-Agent ein Problem meldet, statt sich mit Gewalt durch eine Aufgabe zu arbeiten. Der Begriff stammt aus der Interaktionsgestaltung, einem Fach, das bei Agenten bisher kaum mitredet.
Menschliche Vorbilder finden sich reichlich. Ein Sachbearbeiter trägt einen Fall, der nicht ins Raster passt, zur Vorgesetzten. Ein Mitarbeiter im Callcenter reicht ein Gespräch weiter, sobald das Skript endet. Ein Pilot ruft den Notfall aus, ohne vorher zu beweisen, dass die Lage in eine vorgegebene Kategorie fällt.
Warum reicht ein Stopp-Knopf nicht?
Ein Stopp-Knopf sitzt im Entscheidungspfad und greift, bevor eine Aktion freigegeben wird. Der Ausnahmefall entsteht aber daneben: Der Agent arbeitet regelkonform und findet trotzdem etwas Kaputtes.
Zwei getrennte Bausteine braucht die Infrastruktur deshalb. Der Türsteher, in Bronsons Worten ein „judgment router“, bewertet vor jeder Aktion Unsicherheit, Risiko, Befugnis und Neuheit und leitet den Vorgang zu Ausführen, Eskalieren oder Stopp. Der Notausgang dagegen liegt außerhalb dieses Pfads und fängt den Fund ab, der keine Befugnisgrenze verletzt und trotzdem alarmierend wirkt. Die Agent-Experience-Bewegung feilt bisher vor allem an fertigen Oberflächen-Bausteinen für Agenten, nicht an diesem zweiten Weg.
Ein reales Beispiel liefert Andrew Birds Fitness-Agent, gebaut mit Anthropics Claude. Beim Buchen von Kursplätzen stieß der Agent auf eine GraphQL-Schnittstelle, die fremde Reservierungen ganz ohne Berechtigungsprüfung stornierte. Damit rückte der Agent seinen Betreiber vom vierten auf den dritten Wartelistenplatz. Nur weil Bird ihn dazu anwies, verfasste der Agent danach eine Mail zur verantwortungsvollen Offenlegung. Einen eingebauten Weg, den Fund selbst zu melden, hatte der Agent nicht.
Wir bauen KI-Agenten, die jede Tür eintreten, aber keinen Notausgang kennen. Ein Meldekanal für den Zweifelsfall ist kein Komfort, sondern die Bedingung, unter der ein Betreiber die Kontrolle behält.
— Michael Dobler, Herausgeber Dr. Web
Prüft vor der Aktion. Bewertet Unsicherheit, Risiko, Befugnis und Neuheit und schickt den Vorgang zu „Ausführen“, „Eskalieren“ oder „Stopp“.
Meldet während der Arbeit. Fängt den regelkonformen, aber verdächtigen Fund ab und leitet ihn an einen Menschen.
Was bedeutet das für Betreiber im DACH-Raum?
Die Haftung für einen entgleisten Agenten bleibt beim Betreiber, nicht beim Modellanbieter. Für Hochrisiko-Systeme schreibt Artikel 14 der KI-Verordnung eine menschliche Aufsicht vor, samt der Möglichkeit, den Betrieb zu unterbrechen und das System in einen sicheren Zustand zu bringen.[2]
Drei Schritte machen aus dem Prinzip Praxis. Bauen Sie einen Meldekanal außerhalb des Aufgabenpfads, über den ein Agent einen verdächtigen Fund an einen Menschen abgibt. Protokollieren Sie jede Eskalation mit einem Beleg darüber, was vorgeschlagen und wer freigegeben wurde. Und behandeln Sie „human in the loop“ nicht als Floskel im Angebot, sondern als echten, geprüften Weg. Parallel öffnen sich Websites gerade zur Basis für Mensch und Agent, was die Zahl solcher Grenzfälle eher erhöht.
Der Notausgang kostet wenig und verhindert viel. Prüfen Sie Ihre eigenen Agenten daraufhin, was geschieht, wenn eine Aufgabe technisch gelingt, aber etwas Falsches ans Licht kommt. Fehlt dann jede Meldemöglichkeit, arbeitet der Agent im Zweifel weiter, statt Halt zu machen.
Quellen
[1] Ron Bronson: „Agent Experience Needs Failure Affordances“
[2] EU-KI-Verordnung: Artikel 14, Menschliche Aufsicht
Mehr Newshunger?
- Die Zukunft der Website: vom Schaufenster zum MCP-Server für Agenten
- State of AI in Design Systems: Wie sich 20 Design-Systeme für KI-Agenten öffnen
- Malleable Design: Alle gestalten mit KI, kaum jemand für sie
- Sie haben kein Design-System, sondern eine Komponenten-Bibliothek
- Barrierefreiheit verschwindet bei der Übergabe
