Stopp-Knopf für KI-Agenten: Wer gestaltet ihn?

Der Designer Michał Krztoń hat am 28. Oktober im UX Collective beschrieben, warum KI-Agenten eine eigene Gestaltung ihrer Grenzen brauchen. Sobald ein Modell nicht mehr nur antwortet, sondern bucht, versendet oder Datensätze ändert, entscheidet die Oberfläche, wann der Agent handelt, wann er fragt und wann er stoppt.^[1]

Dazu liefert er eine Rechnung, die erklärt, warum ein überzeugender Prototyp im Alltag oft scheitert.^[1]

Warum liefert dasselbe Modell nicht dieselbe Antwort?

Die Ursache liegt nicht in der Textauswahl, sondern in der Serverlast: Sie verändert die Rechenwege und damit die Zahlen im Modell.

Thinking Machines Lab ließ ein Modell 1.000-mal denselben Prompt mit Temperatur 0 beantworten, einer Einstellung, die den Zufall eigentlich ausschaltet. Das Ergebnis waren 80 verschiedene Texte. Die ersten 102 Tokens stimmten überall überein, ab dem 103. gingen sie auseinander.^[2]

Laut den Autoren hängen die Ergebnisse von der Batch-Größe ab, die wiederum mit der Auslastung des Servers schwankt. Mit speziell gebauten, batch-invarianten Rechenkernen waren alle 1.000 Texte identisch.^[2] Ein Testlauf, der einmal sauber durchging, garantiert den Ablauf von morgen also nicht.

Wie zuverlässig ist ein Ablauf aus zehn Schritten?

Bei zehn Schritten mit je 95 Prozent Trefferquote gelingt der Ablauf nur in rund 60 Prozent der Fälle, sofern die Schritte unabhängig voneinander sind.

Die Rechnung lautet 0,95 hoch zehn, also 59,9 Prozent. Krztoń nennt sie selbst ein vereinfachtes Beispiel, keine gemessene Fehlerrate, denn Wiederholungen und Prüfschritte verbessern das Ergebnis.^[1] Ein Figma-Prototyp zeigt zudem nur den Idealfall, nicht den Fehler, der einmal in 50 Läufen auftritt.^[1]

Welche Schritte darf ein Agent allein erledigen?

Krztoń schlägt vor, jeden Schritt eines Ablaufs einer von drei Klassen zuzuordnen: deterministisch, unscharf oder unumkehrbar.

Deterministisch sind Pflichtfelder, Berechtigungen und der Schutz vor Dubletten, das erledigt klassische Software. Unscharf sind Aufgaben wie das Lesen einer E-Mail oder das Einordnen einer Anfrage, dort hilft das Modell. Bei unumkehrbaren Schritten wie Zahlung oder externem Versand braucht es klare Freigabegrenzen.^[1]

Sein Beispiel ist eine Flugbuchung: Der Tarif mit Erstattung für 398 € ist ausverkauft, übrig bleibt ein Ticket ohne Erstattung für 342 €. Statt den günstigeren Tarif zu wählen, gibt die Oberfläche die Entscheidung an den Nutzer zurück.^[1]

Anthropic rät in seinem Leitfaden zu derselben Zurückhaltung: Feste Workflows sind berechenbarer, Agenten lohnen erst, wenn die einfachere Lösung nicht reicht. Als Stoppbedingung nennt der Leitfaden etwa eine Höchstzahl an Durchläufen.^[3]

Was bedeutet das für Agenturen und Entscheider in der DACH-Region?

Bei Hochrisiko-Systemen schreibt der AI Act einen Stopp-Knopf vor, bei allen übrigen Produkten bleibt er eine Designentscheidung.

Artikel 14 der KI-Verordnung verlangt, dass Aufsichtspersonen eingreifen und das System etwa über eine Stopp-Taste in einen sicheren Zustand bringen können. Außerdem sollen sie die Neigung kennen, Ausgaben zu leichtgläubig zu übernehmen.^[4] Ob ein Produkt als Hochrisiko-System gilt, klären Sie vor dem Projektstart.

Praktisch beginnt es mit einer Tabelle: Jeder Schritt Ihres Ablaufs bekommt eine der drei Klassen. Danach messen Sie, wie oft Menschen korrigieren müssen.^[1] Grundlagen zu Sprachmodellen steht im LLMs-Ratgeber, Agenten im Dauerbetrieb zeigt Perplexity Teammates.

Quellen

Mehr Newshunger?

• Perplexity startet Teammates: KI-Agenten für den Dauereinsatz
• Open Design System Bench: Wie KI-tauglich ist Ihr Design-System?
• KI-Slop: So befreien Sie ihr Webdesign vom Einheitslook
• Stageshow: Skill lässt KI-Agenten Produktoberflächen für Landingpages nachbauen
• Mean: Kostenlose Mac-App markiert Screenshots für KI-Agenten
• DeepSeek zeigt einen KI-Agenten fürs Programmieren, der im Team-Chat mitliest und Pull Requests liefert