Artikel teilen

Kürzere Funktionen, weniger Fehlermuster: KI-Agenten schreiben Zeile für Zeile besseren Code als vor einem Jahr. Doch in 73 bis 100 % der Lösungen im Benchmark LibraryUseBench bauen sie Funktionen selbst nach, die eine mitgelieferte Bibliothek längst kann. Die Prüfung wandert damit in den Entwurf.

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen
Inhalt 4 Abschnitte
  1. Wird der Code der KI-Agenten sauberer?
  2. Warum schreiben Agenten vorhandene Funktionen neu?
  3. Was sollten Agenturen und Entwickler jetzt ändern?
  4. Mehr Newshunger?

Gabriel Orlanski hat am 12. November 2026 neue Ergebnisse zu den Benchmarks SlopCodeBench, LibraryDesignBench und LibraryUseBench veröffentlicht.[1] Die drei Tests messen, wie viel Ballast („Slop“) KI-Agenten beim Programmieren erzeugen.

Auf einen Blick

Das Wichtigste in Kürze

  • Funktionen über 200 Zeilen gingen bei den neueren Anthropic-Modellen im Schnitt von 48 auf 3 zurück.[1]
  • Beim Wiederverwenden bleibt es schlecht: Alle 12 geprüften Modelle schreiben in 73 bis 100 % der Lösungen nach, was die Bibliothek schon bietet.[1]

Wird der Code der KI-Agenten sauberer?

Zwei Kartonräder und ein blauer Zettel mit der Aufschrift „Nochmal“ vor weißem Hintergrund
Claude Opus 5.5 XHigh reduziert Regelabweichungen von 98,0 auf 60,7 pro 1.000 Zeilen und verkürzt längste Funktionen von 1.099 auf 294 Zeilen

Zeile für Zeile ja: Bei Anthropic sank die Zahl der Regeltreffer je 1.000 Zeilen von 98,0 (Opus 4.6) auf 60,7 (Opus 5.5 XHigh), die längste Funktion schrumpfte von 1.099 auf 294 Zeilen.[1]

SlopCodeBench gibt dem Agenten eine Folge von Vorgaben: Er schreibt ein Programm für die erste und erweitert es bei jeder neuen. Bewertet wird mit versteckten Tests und 137 Ballast-Regeln, bei 36 Python-Aufgaben mit 196 Prüfpunkten.[1] Den strengsten Test besteht GPT-6 Astra XHigh bei 32 von 196 Prüfpunkten.

Der Ballast wandert jedoch, statt zu verschwinden. Das pauschale Abfangen aller Fehler wurde enger gefasst, der Fehler blieb: In einem Beispiel mit GLM 5.3 läuft die geschützte Operation ohne Rollenprüfung, sobald die Regeldatei fehlt.[1]

Warum schreiben Agenten vorhandene Funktionen neu?

Der Benchmark LibraryUseBench misst das Verhalten, nicht die Ursache: Mit knapper Anweisung schreiben alle 12 Modelle in 73 bis 100 % ihrer Lösungen nach, was die Bibliothek bereits bietet.[1]

Jedes Modell erhält eine Aufgabe und eine von Menschen geschriebene Bibliothek. Beim Bereinigen von HTML-Seiten schrieben alle 12 Modelle eine eigene Funktion zum Erkennen der Zeichenkodierung, obwohl BeautifulSoup sie liefert.[1] Bei einer Simulation mit SimPy bauten 8 von 12 eine eigene Warteschlange.[1]

Das Muster trifft auch Bibliotheken, die Agenten für andere Agenten entwerfen. LibraryDesignBench bewertet sie allein am Code, den andere Agenten damit schreiben.[2] Dieselben drei Agenten mussten bei Agenten-Bibliotheken in 40 % der Fälle Fehler oder schlechte Passung umgehen, bei der Bibliothek von Menschen in 27 %.[1]

Wo Agenten die Bibliothek ignorieren
Benchmarks von Gabriel Orlanski, veröffentlicht am 12. November 2026

Eckdaten

73 bis 100 %
der Lösungen schreiben nach, was die Bibliothek schon kann
8 von 12
Modellen bauten eine eigene Warteschlange statt SimPy
40 %
Nachbauten selbst mit sehr genauer Anweisung, bei Agenten-Bibliotheken
17 %
dieselbe Anweisung bei Bibliotheken von Menschen

Anteil der Lösungen mit eigenem Nachbau (Auswahl)

GPT-6 Luna
100 %
GLM 5.3 Flash
93 %
Sonnet 5
87 %
Sonnet 5.5
80 %
Opus 5.5
73 %

Ein Agent, der Code schreibt und die Bibliothek ignoriert, produziert Wartung, die niemand bestellt hat.

Markus Seyfferth, Chefredakteur Dr. Web
Zitat teilen

Was sollten Agenturen und Entwickler jetzt ändern?

Geben Sie Bibliotheken ausdrücklich vor und prüfen Sie bei Agenten-Code zuerst, was neu geschrieben wurde. Das ist unsere Empfehlung.

Eine genaue Anweisung wirkt: Auf denselben Aufgaben schrieben Agenten bei Bibliotheken von Menschen mit sehr genauer Anweisung in rund 17 % der Lösungen nach, mit knapper Anweisung in 73 bis 100 %.[1] Nennen Sie dem Agenten also Bibliothek und Funktionen. Wie selbstständig Agenten schon Änderungen vorschlagen, zeigt Nunebot.

Im Review lohnt der Blick auf Duplikate: Eigene Hilfsfunktionen, die eine eingebundene Bibliothek schon liefert, sind Kandidaten zum Streichen. Warum es beim Code-Review nie um den Code ging, beschreibt Matt Ström-Awn. Mehr Code heißt nicht mehr Tempo: Bei Alibabas Cainiao schreibt die KI 90 % des Codes, geliefert wird kaum schneller.

Für Softwarehersteller kommt ein Termin hinzu: Der Cyber Resilience Act verlangt von Herstellern ab dem 11. September 2026 Meldungen über aktiv ausgenutzte Sicherheitslücken, die Hauptpflichten gelten ab dem 11. Dezember 2027.[3] Jede selbst geschriebene Kopie einer Bibliotheksfunktion ist Code, den kein Update der Bibliothek repariert. Das ist unsere Einschätzung, keine Rechtsauskunft.

Quellen

3 Quellen anzeigenQuellen ausblenden
  1. Gabriel OrlanskiSlop Is Moving Up the Stack12.11.2026
  2. LibraryDesignBenchLeaderboard und Methodik
  3. Europäische KommissionCyber Resilience Act (Stand 7. September 2026)

Mehr Newshunger?

4,1 19 Bewertungen

Wie hat Ihnen dieser Artikel gefallen?

Dr. Web Newsletter

Jede Woche ein bisschen klüger.

Der Dr. Web Newsletter: die besten Artikel, Anbieter-Tipps und neue Tools, kompakt zusammengefasst, jeden Donnerstag. Kostenlos und jederzeit abbestellbar.