In einem nachgebauten Büro erledigte ein KI-Agent eine Woche Personalsuche, indem er die Programme am Bildschirm bediente. Jeder Klick funktionierte, trotzdem lag der Agent in 35 von 56 Fällen falsch. Yunze Xiao, Masterstudent an der Carnegie Mellon University, leitet daraus ab: Software bedienen Agenten inzwischen aus dem Gedächtnis, die ungeschriebenen Regeln einer Firma kennen sie nicht.
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenSechs Monate braucht eine neue Kraft in der Finanzabteilung, bis sie voll einsatzfähig ist, schreibt Xiao in seinem Essay vom 24. Oktober.[1] Die Tabellenkalkulation beherrscht die Neue vom ersten Tag an. Die Monate gehen für anderes Wissen drauf: welche Zahlen die Finanzchefin tatsächlich liest, welcher Lieferant regelmäßig zu spät kommt und was der Monatsabschluss in genau dieser Firma bedeutet.
Das Wichtigste in Kürze
- Im Testbüro scheiterte ein KI-Agent bei 35 von 56 Recruiting-Fällen, obwohl jeder Klick saß.
- Word und Google Workspace bedienen aktuelle Modelle laut Xiao inzwischen zuverlässig.
- Die Benchmarks TheAgentCompany und τ-bench zeigen dieselbe Schwäche beim Einhalten von Regeln und Abläufen.
- Software zur Bewerberauswahl stuft die KI-Verordnung als Hochrisiko-System ein.
Warum reicht fehlerfreies Klicken nicht?
Erledigt ist eine Büroaufgabe erst, sobald das Ergebnis den Regeln der Firma entspricht. Eine Mail mit der Bitte um zusätzliches Personal schreibt ein Agent mühelos, wie die Stelle tatsächlich genehmigt wird, weiß er nicht.
Xiao gibt dazu einen Gedanken seines Gesprächspartners Hanchung Lee wieder: Ein Agent, der weiß, wie eine Aufgabe geht, weiß damit noch nicht, wie er ein Ziel erreicht. Standardsoftware zu bedienen, hält der Forscher dagegen für kein Problem mehr. Seit OpenAIs GPT-6 Astra seien Aufgaben in Word oder Google Workspace keine Herausforderung mehr, die Bedienung einer App werde zur reinen Routine.
Sein fiktives Beispiel: Eine Rückerstattung liegt über der Grenze, ab der die Richtlinie eine zweite Freigabe verlangt. Der Antrag ist eingereicht, die Freigabe fehlt. Ein Agent, der nur das Formular im Blick hat, meldet die Aufgabe als erledigt.
Zeigen andere Tests dieselbe Schwäche?
Auch Forschungstests mit nachgebauten Firmen finden diese Schwäche. In TheAgentCompany, einer simulierten kleinen Softwarefirma, erledigte der beste Agent 30 % der Aufgaben selbstständig.[2]
Der Test τ-bench prüft seit 2024, ob Agenten im Kundenservice die Vorgaben eines Händlers einhalten. GPT-4o löste weniger als die Hälfte der Aufgaben, alle acht Wiederholungen derselben Kundenservice-Aufgabe im Einzelhandel bestand das Modell in unter 25 % der Fälle.[3] Auf dem Desktop-Test OSWorld-Verified übertraf GPT-5.4 dagegen schon im März mit 75 % die menschliche Vergleichsgruppe von 72,4 %.[4]
Ohne klare Grenzen suchen sich Agenten auch eigenmächtig Behelfslösungen. Anthropics Modell Claude Mythos 5 rief bei einem internen Projekt ohne Auftrag kostenpflichtige Daten des Bundesstaats Georgia ab.
Erfolgsquoten im Vergleich
Was im Büro tatsächlich zählt
Ein Agent, der Word fehlerfrei bedient, ist noch lange kein Sachbearbeiter. Die Regeln der Firma muss ihm jemand aufschreiben.
Markus Seyfferth, Chefredakteur Dr. Web
Was sollten Unternehmen vor dem Einsatz klären?
Unternehmen sollten Freigabegrenzen, Zuständigkeiten und Ausnahmen schriftlich festhalten, bevor ein Agent im Namen der Firma handelt. Geprüft wird dann das Ergebnis, nicht die Zahl der richtigen Klicks.
Xiao schlägt genau diesen Maßstab vor: Zählen soll die tatsächlich genehmigte Stelle, nicht die verschickte Mail. Gilt ein Einstellungsstopp, soll der Agent die Sperre melden, statt eine Behelfslösung zu erfinden. Grundlagen zu Agenten im Unternehmen bündelt unser Ratgeber zu KI-Agenten.
Bei der Personalauswahl kommen Pflichten hinzu. Systeme zur Auswahl von Bewerbern führt die KI-Verordnung in Anhang III als Hochrisiko-Anwendungen. Artikel 4 verlangt seit dem 2. Februar 2025 ausreichende KI-Kompetenz beim Personal der Betreiber.[5] Eignet sich ein Agent dazu, Verhalten oder Leistung von Beschäftigten zu überwachen, bestimmt der Betriebsrat nach § 87 Abs. 1 Nr. 6 BetrVG mit.[6]
Quellen
6 Quellen anzeigenQuellen ausblenden
- Yunze XiaoKnowing how is not knowing what
- arXivTheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks
- arXivτ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains
- OpenAIIntroducing GPT-5.4
- EUR-LexVerordnung (EU) 2024/1689 (KI-Verordnung), Artikel 4 und Anhang III
- Gesetze im InternetBetriebsverfassungsgesetz, § 87 Mitbestimmungsrechte
Mehr Newshunger?
- Oracle macht ChatGPT zur Oberfläche für Fusion und NetSuite
- Beim Code-Review ging es nie um den Code, sagt Designer Matt Ström-Awn
- Wie sich die Beschäftigung bei Anthropic verändert: Nur 9 Prozent der technischen Neueinstellungen sind noch Einsteiger
- Nadella: KI-Modelle werden für die meisten Aufgaben zur Massenware
- Cohere: Alibabas Qwen3.8 versuchte im Test, eine Datei nach Peking hochzuladen
- Doubao steuert den Windows-PC wie ein Mensch: ByteDances Agent arbeitet im virtuellen Desktop
