Ein Benchmark hat 30 Modellkonfigurationen in simulierte Unternehmen gesetzt, mit genau einer Aufgabe: das Firmenhandbuch befolgen. Keine Konfiguration hat mehr als 36,2 Prozent der Durchläufe sauber bestanden. Für jeden Betrieb, der KI-Agenten per Richtlinie steuern will, ist das eine unangenehme Zahl.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Agenten bekommen derzeit dasselbe Onboarding wie neue Kollegen: ein Regelwerk ins Kontextfenster, dann los. Der Benchmark HANDBOOK.md des Datenanbieters Surge AI hat diesen Aufbau nachgestellt, mit Handbüchern zwischen 20 und 124 Seiten.[1] Die Ergebnisse fallen schlechter aus, als die großzügigen Kontextfenster-Angaben der Anbieter vermuten lassen.
Das Wichtigste in Kürze
- 65 Aufgaben in zehn fiktiven Firmen, gesteuert durch Handbücher von 20 bis 124 Seiten
- Beste Konfiguration: 36,2 Prozent, die meisten Spitzenmodelle bleiben unter 25 Prozent
- Häufigstes Fehlermuster: eine plausible Anfrage aus der Arbeitsumgebung sticht die Regel
- Personalwesen, Versicherung und Kreditwürdigkeit gelten unter der KI-Verordnung als Hochrisiko
Was misst der HANDBOOK.md-Test?
Echter Büroalltag statt Quizfragen: Jede der 65 Aufgaben setzt einen Agenten in eine abgeschlossene Firmenumgebung mit Dateiablage und nachgebauten Diensten für E-Mail, Chat, Kalender und Ticketsystem, angebunden über das Model Context Protocol. Die Aufgaben verteilen sich auf Finanzbuchhaltung, Personalwesen, Versicherung, Logistik und medizinische Abrechnung.
Hart bewertet wird über 824 Kriterien für geforderte wie verbotene Handlungen, und bestanden hat nur, wer jedes einzelne erfüllt. Claude Fable 5 führt die Tabelle mit 36,2 Prozent an, GPT-5.6 Sol erreicht in der stärksten Einstellung 23,5 Prozent. Ähnlich ernüchternd fielen zuletzt die Sandbox-Tests mit OpenAI-Modellen aus.
Warum verlieren die Modelle die Regel aus dem Blick?
Die Mitte verblasst. Nelson F. Liu und sein Team von der Stanford University haben gezeigt, dass Sprachmodelle Informationen am Anfang und am Ende des Kontexts zuverlässig finden, in der Mitte dagegen deutlich schlechter.[2] Ein Handbuch mit 124 Seiten parkt den Großteil seiner Regeln genau in dieser toten Zone.
Vier Muster tauchen quer über alle Modelle auf: Anfragen aus der Umgebung verdrängen die Vorschrift, geforderte Prüfungen laufen und werden anschließend ignoriert, Kontrollschritte fallen aus, und am Ende meldet der Agent Regeltreue trotz Verstößen.
Bekanntes Muster: Dass ein Text aus der Arbeitsumgebung die stehende Anweisung übersteuert, kennen Sicherheitsforscher als indirekte Prompt Injection, zuletzt bei den KI-Würmern in Word-Dokumenten und beim Gedächtnis-Raub über eine präparierte Webseite. Im Benchmark braucht dieselbe Schwäche keine Attacke, sondern nur eine normale Kollegenmail.
Ein Handbuch im Kontextfenster ist keine Kontrolle, sondern eine Bitte. Verbindlich wird eine Regel erst dort, wo der Agent die verbotene Aktion technisch gar nicht ausführen kann.
— Markus Seyfferth, Chefredakteur Dr. Web
Bestandene Durchläufe nach Modell
Vier Fehlermuster quer über alle Modelle
Eine plausible Bitte aus E-Mail oder Chat verdrängt die stehende Vorschrift aus dem Handbuch.
Der Agent holt die geforderte Auskunft ein und handelt anschließend gegen das eigene Ergebnis.
Pflichtschritte entfallen ganz, der Agent unterstellt einfach ein positives Ergebnis.
Am Ende bestätigt der Agent die Regeltreue, obwohl der Durchlauf Verstöße enthält.
Was bedeutet das für Unternehmen im DACH-Raum?
Hochrisiko-Zone. Personalentscheidungen, Kreditwürdigkeit und die Risikobewertung in der Lebens- und Krankenversicherung stuft Anhang III der KI-Verordnung als Hochrisiko ein.[3] Der Benchmark hat seine Agenten ausgerechnet in diesen Branchen arbeiten lassen, und kein Modell hat dort die Hausregeln verlässlich eingehalten.
Aufsicht ausgehebelt. Artikel 14 verlangt menschliche Aufsicht und nennt ausdrücklich die Neigung, sich zu sehr auf die Ausgabe eines Systems zu verlassen. Die vierte Fehlerklasse bedient genau diese Neigung, denn der Prüfer liest eine Erfolgsmeldung statt eines Warnhinweises.
Harte Sperren schlagen weiche Vorschriften. Wandeln Sie die zehn kritischsten Handbuchregeln in technische Sperren um, etwa als Freigabeschritt vor jeder Zahlung. Zerlegen Sie lange Regelwerke außerdem in kurze, aufgabenbezogene Auszüge, wie das auch die Informationsarchitektur für KI-Assistenten nahelegt.
Bevor der nächste Agent in Buchhaltung oder Personalabteilung startet, gehört ein Protokolltest in den Plan: dieselbe Aufgabe zehnmal laufen lassen und jede Abweichung zählen. Erst diese eigene Quote sagt, ob die Automatisierung trägt. Weitere Einordnungen sammelt unsere KI-Rubrik.
Quellen
[1] Panavas u. a. (Surge AI): „HANDBOOK.md: A Benchmark for Long-Context Agentic Instruction Following“, 28. Juli 2026
[2] Liu u. a. (Stanford University): „Lost in the Middle: How Language Models Use Long Contexts“, TACL
[3] Europäische Union: Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 14 und Anhang III
Mehr Newshunger?
- KI-Würmer in Word-Dokumenten verbreiten sich über Copilot von selbst
- Qihoo 360 bringt Nano Work: eine KI-Agenten-Plattform für ganze Betriebe
- Multi-Agenten-System bei Audi: Die zweite Agentenflotte arbeitet am eigenen Code
- Salesforce verkauft KI-Agenten an die US-Veteranenbehörde
- Perplexity Personal Computer: KI-Agent bekommt Zugriff auf lokale Windows-Ordner
- Jede vierte Datenpanne ist KI-gestützt und kostet 5,22 Millionen Euro
