OpenAI hat den eigenen Leit-Benchmark für KI-Coding-Tools zurückgezogen. Eine Prüfung hat ergeben, dass rund ein Drittel der Aufgaben fehlerhaft ist. Für alle, die über Copilot, Cursor oder Claude Code entscheiden, wackelt damit die vertraute Zahlengrundlage.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Coding-Benchmarks galten lange als harte Währung beim Toolvergleich. Doch von 731 geprüften Aufgaben im führenden Test SWE-Bench Pro haben Gutachter 249 als kaputt eingestuft, woraufhin OpenAI die eigene Empfehlung kassiert hat. Damit steht die Frage im Raum, woran sich der Nutzen dieser Werkzeuge überhaupt ablesen lässt.
Das Wichtigste in Kürze
- OpenAI hat SWE-Bench Pro als Leit-Benchmark zurückgezogen, rund 30 Prozent der Aufgaben sind fehlerhaft.
- Der Vorgänger SWE-bench Verified war schon Anfang 2026 durch Kontamination und Sättigung unbrauchbar geworden.
- Databricks hat Agenten am eigenen Millionen-Zeilen-Code getestet und offene Modelle als überraschend stark gemessen.
- Für die Toolwahl zählt der Preis pro Aufgabe, nicht der Preis pro Token.
Warum verlieren die Benchmarks ihr Signal?
Öffentliche Coding-Benchmarks sättigen, werden durch Trainingsdaten kontaminiert und enthalten fehlerhafte Aufgaben. OpenAI hat in SWE-Bench Pro 34 Prozent von 731 Aufgaben als kaputt eingestuft, oft mit zu strengen Tests, die korrekte Lösungen ablehnen.
Gleich mehrere Effekte zerstören die Aussagekraft. Sobald alle Spitzenmodelle nahe der Höchstpunktzahl landen, trennt der Test keine Systeme mehr. Sickern die öffentlichen Aufgaben mit der Zeit in die Trainingsdaten, misst er eher Auswendiglernen als Können.
OpenAI hat das mit konkreten Zahlen belegt[1]. Fünf erfahrene Entwickler haben 249 der 731 Aufgaben als fehlerhaft eingestuft, und bei 35,5 Prozent haben die Tests Details verlangt, die in der Aufgabe nie standen. Schon im Februar 2026 hatte OpenAI den älteren SWE-bench Verified ausgemustert, nachdem sich 59 Prozent der fehlgeschlagenen Testfälle als falsch erwiesen hatten.
Was Agenten wirklich hilft, zeigt sich woanders, etwa in einer kontrollierten Studie zu sauberem Code. In der Diskussion auf Hacker News wird zudem eingewandt, dass die Tests fast nie lange Iterationsschleifen prüfen, also genau die Arbeitsweise, in der die Werkzeuge im Alltag stecken.
Was zeigt der Test an einem echten Millionen-Zeilen-Projekt?
Databricks hat Agenten an seinem realen Code über zehn Sprachen geprüft. Das offene Modell GLM 5.2 hat 81 Prozent der Aufgaben gelöst gegenüber 87 Prozent bei Opus 4.8, dabei aber nur 1,11 statt 1,69 Euro je Aufgabe gekostet.
Databricks hat den eigenen Benchmark aus echten Änderungen am eigenen Code gebaut[2], quer über Scala, Go, Rust, Java und Python. Genau das umgeht das Leck-Problem, weil eigene Aufgaben in keinem Trainingssatz stehen.
Das Ergebnis rückt die Rangliste zurecht. Offene Modelle wie GLM 5.2 sind keine Spielerei mehr und landen mit den Modellen von OpenAI und Anthropic auf der Effizienzgrenze. Sonnet 5 hat mit 1,82 Euro je Aufgabe mehr als Opus gekostet und dabei fast doppelt so viele Token gezogen.
Den praktischen Hebel liefert der Preis pro Aufgabe. Ein Vergleich allein über den Tokenpreis führt in die Irre, wie schon die Debatte um den Preis pro Million Token gezeigt hat.
Ein Benchmark, den alle Anbieter auswendig können, misst nicht mehr die Leistung, sondern das Marketing. Verlässliche Zahlen liefert nur ein Test an Ihrem eigenen Code.
— Markus Seyfferth, Chefredakteur Dr. Web
Was heißt das für IT-Entscheider im Mittelstand?
Vendor-Benchmarks taugen nicht mehr als Kaufgrund. Sinnvoller ist ein kleiner eigener Test aus echten Tickets, gemessen am Preis pro erledigter Aufgabe. Für einfache Aufgaben reichen oft günstige oder offene Modelle.
Für die Praxis folgt daraus ein nüchterner Rat. Legen Sie zehn bis zwanzig echte Aufgaben aus Ihrem Alltag an und lassen Sie die Kandidaten daran arbeiten, statt Ranglisten zu vertrauen.
Der Kostenblick lohnt sich doppelt. Databricks hat gut ein Viertel der täglichen Aufgaben als einfach und rund 60 Prozent als mittelschwer eingestuft, für die selten das teuerste Modell nötig ist. Ein Router, der je Aufgabe das passende Modell wählt, senkt die Rechnung spürbar.
Quellen
[1] OpenAI: „Separating signal from noise in coding evaluations“ ↩
[2] Databricks: „Benchmarking Coding Agents on Databricks‘ Multi-Million Line Codebase“ ↩
Mehr Newshunger?
- SWE-1.7: Cognition baut sein Coding-Modell auf einer offenen Basis
- Studie: Entwickler fühlen sich mit KI schneller, arbeiten aber langsamer
- Wenn die KI mehr kostet als der Entwickler
- ZCode: Z.ai bringt ein offenes Coding-Werkzeug für GLM-5.2
- Code als Bild: So senkt ein Entwickler die KI-Kosten um 60 %
