Im Einzeltest wirken KI-Coding-Agenten souverän. Sobald sich die Anforderungen über mehrere Runden ändern, halbiert sich ihre Trefferquote, und die Rangfolge der Modelle dreht sich. Ein neuer Benchmark zeigt, woran es wirklich hakt.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Coding-Agenten lösen eine einzelne Aufgabe heute zuverlässig, doch echte Softwareentwicklung besteht nie aus einer einzigen Anweisung. Genau hier setzt der Benchmark EvoCode-Bench an: Er lässt die Agenten über 5 bis 15 Runden an derselben Codebasis arbeiten, während die Anforderungen wachsen und sich widersprechen.
Das Wichtigste in Kürze
- Im Mehr-Runden-Test fällt die aggregierte Trefferquote schon nach Runde 5 unter die Hälfte des Ausgangswertes.
- Nicht fehlende Fähigkeiten, sondern zerstörte, bereits funktionierende Funktionen sind der Hauptgrund, an dem die starken Modelle scheitern.
- Die Rangfolge kippt: Ein im Einzeltest führendes Modell rutscht im Dauerbetrieb auf Rang drei.
- Agenten, die ein laufendes Anforderungsdokument mitführen, verdoppeln ihre Erfolgsquote.
Warum ein einzelner Prompt in die Irre führt
Die meisten Coding-Benchmarks folgen demselben Muster: eine Aufgabe, ein Durchlauf, ein Ergebnis. Das Forschungsteam um Haiyang Shen dreht diese Logik mit EvoCode-Bench um. 26 Aufgaben laufen über insgesamt 227 Runden, der Arbeitsordner bleibt zwischen den Runden erhalten, und jede neue Runde prüft mit kumulativen Tests auch alle früheren Anforderungen mit.[1]
Das kommt der Realität deutlich näher, in der Software selten fertig ist. Kunden ändern ihre Wünsche, alte Funktionen müssen weiterlaufen. Erst unter dieser Last zeigt sich, wie robust ein Agent tatsächlich arbeitet, statt nur einen sauber umrissenen Auftrag abzuarbeiten.
Woran die Agenten wirklich scheitern
Die Zahlen fallen deutlich aus. Schon nach Runde 5 sinkt die aggregierte Trefferquote unter die Hälfte des Wertes aus Runde 1.[1] Schwächere Modelle scheitern früh an unvollständiger Umsetzung. Die starken kommen weit genug, um über ein subtileres Problem zu stolpern.
Der KI-Entwickler Philipp Schmid bringt den Kern in seiner Analyse auf den Punkt: Agenten scheitern selten daran, dass sie ein Feature nicht bauen können.[2] Sie scheitern, weil sie etwas zerstören, das bereits funktioniert hat. Diese Regressionen verschieben auch die Rangfolge: Claude Opus 4.6 führt den Einzeltest an, fällt im Dauerbetrieb aber auf Rang drei zurück, hinter Claude Opus 4.7 und OpenAIs GPT-5.5.[1]
Eine Auswahl allein nach klassischen Ranglisten misst damit die falsche Disziplin. Dass solche Bestenlisten an Aussagekraft verlieren, hat zuletzt schon die Debatte um gesättigte Coding-Benchmarks gezeigt. Einen wirksamen Hebel nennt die Studie gleich mit: Agenten, die ein laufendes Anforderungsdokument pflegen, verdoppeln ihre Erfolgsquote.
Ein KI-Agent, der im Benchmark glänzt, ist noch kein Kollege, der über Wochen sauberen Code hinterlässt. Entscheidend ist nicht, was er in einer Runde baut, sondern was er in der zehnten noch heil lässt.
— Markus Seyfferth, Chefredakteur Dr. Web
So bricht die Trefferquote über die Runden ein
Claude Opus 4.6 gewinnt den Einzeltest, fällt im Dauerbetrieb aber auf Rang drei, hinter Opus 4.7 und GPT-5.5.
Agenten, die ein laufendes Anforderungsdokument mitführen, verdoppeln laut Studie ihre Erfolgsquote.
Was das für KI-Tools im deutschsprachigen Team heißt
Für Entwicklungsteams im deutschsprachigen Raum verschiebt der Befund die Auswahlkriterien. Ein Agent, der eine isolierte Aufgabe glänzend löst, muss im Wartungsalltag über Wochen nicht führend sein. Das deckt sich mit dem Problem, das KI-Agenten beim gemeinsamen Codeverständnis im Team aushöhlen können.
Die praktische Konsequenz: Prüfen Sie KI-Coding-Agenten an Ihren eigenen Mehr-Runden-Aufgaben, nicht am Ranking. Verlangen Sie bei jedem Schritt Regressionstests, und lassen Sie den Agenten ein Anforderungsdokument mitführen. Wie stark schon die Qualität des Ausgangscodes wirkt, hat eine kontrollierte Studie zu sauberem Code gezeigt.
So messen Sie die Disziplin, die im Alltag zählt, nämlich Beständigkeit statt einmaliger Brillanz. Den grundsätzlichen Vergleich der Modelle hinter den Agenten liefert der Ratgeber zu Large Language Models im Unternehmenseinsatz. Und selbst führende Systeme wie Codex mit eigenen Subagenten zeigen, dass mehr Autonomie den Bedarf an solchen Tests eher vergrößert.
Quellen
[1] Haiyang Shen u. a.: „EvoCode-Bench: Evaluating Coding Agents in Multi-Turn Iterative Interactions“ (arXiv, 2026)
[2] Philipp Schmid: „Evaluating agents beyond the first prompt“
Mehr Newshunger?
- Signal statt Rauschen: Warum KI-Coding-Benchmarks kaum noch etwas messen
- Beeinflusst sauberer Code KI-Coding-Agenten? Eine kontrollierte Studie liefert Zahlen
- Vibecoding und der Turmbau zu Babel: Warum KI-Agenten das gemeinsame Verständnis im Code aushöhlen
- Clawk gibt dem KI-Coding-Agenten eine eigene Wegwerf-VM statt Ihres Rechners
- Cursor Automations: Coding-Agenten warten nicht mehr
