Zehntausende Microsoft-Entwickler haben Anfang 2026 Zugriff auf Claude Code und GitHub Copilot CLI bekommen. Eine interne Studie hat ausgewertet, was die Werkzeuge an messbarer Leistung bringen, und das Ergebnis fällt klarer aus als bei früheren Untersuchungen.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Coding-Tools stehen seit Monaten im Verdacht, mehr Gefühl als Wirkung zu liefern. Microsoft hat dazu den bislang größten öffentlichen Praxistest vorgelegt, mit realen Projektdaten statt mit Umfragen.
Das Wichtigste in Kürze
- Adopter bei Microsoft haben über vier Monate rund 24 % mehr Pull Requests zusammengeführt als im Vergleichsfall ohne die Werkzeuge.
- Die Auswertung stützt sich auf zehntausende Entwickler und reale GitHub-Daten, nicht auf Selbsteinschätzung.
- Ein zusammengeführter Pull Request misst Aktivität, nicht zwangsläufig geschäftlichen Wert.
- Ein kontrollierter METR-Versuch hat bei erfahrenen Entwicklern das Gegenteil ergeben, nämlich 19 % langsamer.
Was hat Microsoft wirklich gemessen?
Microsoft hat den Rollout von Claude Code und GitHub Copilot CLI über vier Monate unter zehntausenden eigenen Entwicklern beobachtet. Adopter haben rund 24 % mehr Pull Requests zusammengeführt als im Szenario ohne KI.
Das Forschungstrio Emerson Murphy-Hill, Jenna Butler und Alexandra Savelieva hat Verbreitung und Produktivität getrennt untersucht[1]. Der erste Kontakt ist meist über Kollegen entstanden, nicht über offizielle Kanäle, was sichtbare Vorbilder im Team zum eigentlichen Hebel gemacht hat.
Ob jemand dabei geblieben ist, hat stärker am bisherigen Programmierpensum gelegen als an Rolle oder Erfahrungsstufe. Weil der Zuwachs über vier Monate angehalten hat, ist er kaum ein bloßes Neugier-Strohfeuer. Mehr Einordnung dazu bietet unsere laufende KI-Berichterstattung.
Warum die 24 Prozent trügen können
Ein zusammengeführter Pull Request zählt Output, nicht Wirkung. Die Autoren räumen selbst ein, dass ein gemergter PR nicht dasselbe ist wie der Wert, den er stiftet. Mehr, kleinere oder aufgeteilte Änderungen heben die Zahl, ohne das Produkt besser zu machen.
Sobald eine Kennzahl zum Ziel wird, verliert sie an Aussagekraft, weil sich Arbeit an ihr ausrichtet. Genau hier liegt die Schwachstelle: Ein Agent, der eine Aufgabe in drei kleine statt einen großen Pull Request zerlegt, wirkt in der Statistik produktiver, ohne mehr geliefert zu haben.
Dazu kommt der Beobachtungscharakter der Daten. Adopter unterscheiden sich womöglich ohnehin von den übrigen, etwa in Motivation oder Aufgabenzuschnitt. Eine kontrollierte Studie zum Einfluss von sauberem Code auf KI-Coding-Agenten zeigt, wie stark solche Randbedingungen die Zahlen bewegen.
Die 24 Prozent sind ein starkes Signal, aber ein Pull Request ist eine Zähleinheit, kein Geschäftsergebnis. Kluge Teams messen, was am Ende beim Kunden ankommt, nicht wie viele Änderungen der Agent durchdrückt.
— Markus Seyfferth, Chefredakteur Dr. Web
So haben sich die Entwickler im METR-Versuch selbst eingeschätzt.
So lange haben dieselben Entwickler tatsächlich gebraucht.
Was Entscheider aus METR und Microsoft mitnehmen
Ein Gegenbeispiel liefert das Forschungsinstitut METR. In einem randomisierten Versuch von Anfang 2025 haben 16 erfahrene Open-Source-Entwickler an 246 Aufgaben in reifen Projekten mit KI sogar 19 % länger gebraucht, während sie sich selbst um 20 % schneller eingeschätzt haben[2].
Der Widerspruch löst sich über das Studiendesign auf. METR hat wenige Spezialisten in komplexen Codebasen unter Laborbedingungen geprüft, Microsoft dagegen zehntausende Entwickler im laufenden Betrieb. METR selbst hat im Februar 2026 eingeräumt, dass sich Produktivität schwerer messen lässt, seit KI-affine Entwickler die Runden ohne KI meiden.
Für den Mittelstand zählt vor allem eines: Sichtbare Vorbilder im Team wirken besser als eine Anordnung von oben. Und weder gefühltes Tempo noch rohe Pull-Request-Zahlen taugen als Kennzahl, weil beide in die Irre führen. Wie schwer sich reiner KI-Code beurteilen lässt, zeigt der Streit um eine Million Zeilen KI-Code.
Wichtig bleibt die Mitbestimmung: Kennzahlen auf Personenebene berühren in Deutschland Paragraf 87 des Betriebsverfassungsgesetzes und die Regeln des EU AI Act zur Beschäftigtenüberwachung. Der Betriebsrat gehört ins Boot, bevor individuelle Leistungsdaten erhoben werden. Für die Isolation solcher Agenten liefert unser Beitrag zur Wegwerf-VM für Coding-Agenten einen Startpunkt.
Der beste nächste Schritt ist ein kleiner interner Pilot mit einer Wertkennzahl wie Durchlaufzeit oder Fehlerquote, statt einer reinen Aktivitätszahl. So lässt sich prüfen, ob aus 24 % mehr Pull Requests am Ende auch mehr Nutzen wird.
Quellen
[1] Emerson Murphy-Hill, Jenna Butler, Alexandra Savelieva: „A Study of Microsoft’s Early 2026 Rollout of Claude Code and GitHub Copilot CLI“ ↩
[2] METR: „Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity“ ↩
Mehr Newshunger?
- Claude Code sendet 33.000 Token vor dem ersten Prompt, OpenCode nur 7.000
- Antigravity 2.0: Google attackiert Cursor und Claude Code
- Codex aufs Smartphone: Programmiert OpenAI jetzt mit?
- Beeinflusst sauberer Code KI-Coding-Agenten? Eine kontrollierte Studie liefert Zahlen
- Welche Anthropic-Produkte gibt es 2026? Der Überblick
