Surge AI testet KI-Agenten an 50 Steuerfällen, die beste Erfolgsquote liegt bei 10,8 Prozent

Michael Dobler

Autor Dr. Web

29. Okt. 2026

3 Min. Lesezeit

In fünf Versuchen übersah GPT-6 Astra die Frist, nach der eine Wohnungsverkäuferin Gewinne bis 250.000 Dollar (rund 217.500 Euro) nicht mehr steuerfrei behalten dürfte. Im Test von Surge AI kommt das beste Modell, Claude Sonnet 5.5, nur auf eine Erfolgsquote von 10,8 Prozent. Surge bewertet auch, ob ein Agent Probleme findet, nach denen der Mandant nie gefragt hat.

Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügen

Surge AI, ein US-Anbieter von Trainingsdaten und Tests für KI-Modelle, baute für den Benchmark DAYJOB: Tax 50 Aufgaben mit 1.789 Dateien, darunter Schreiben der US-Steuerbehörde IRS und das Foto einer handschriftlichen Quittung.^[1] Am 27. Oktober veröffentlichte Surge die Ergebnisse von 16 Modellen.^[2]

Auf einen Blick

Das Wichtigste in Kürze

Claude Sonnet 5.5 erreicht eine Erfolgsquote von 10,8 Prozent, knapp vor zwei weiteren Claude-Modellen.
Kimi K3, Mistral Large 4 und Qwen 3.8 Max kommen auf null Prozent.
Die Aufgaben folgen US-Steuerrecht, für deutsche Kanzleien zählt vor allem die Art der Fehler.

Woran scheitern die KI-Agenten?

Ein orangefarbener Ordner mit dem Zettel „Frist?“ und daneben ein Taschenrechner auf Papieren — Steuerfachleute von PwC, Deloitte und EY entwickelten Aufgaben aus acht Steuerberatungsbereichen, jede durchlief drei Prüfrunden. Agenten arbeiten in isolierter Linux-Umgebung ohne Internetzugriff

Steuerfachleute mit Erfahrung bei PwC, Deloitte und EY entwarfen die Aufgaben aus acht Bereichen der Steuerberatung. Jede Aufgabe durchlief drei Prüfrunden.^[1] Die Agenten arbeiten in einer abgeschotteten Linux-Umgebung, im Internet nachschlagen können sie dort nicht.^[3]

Claude Opus 5.5 nannte die Frist der Wohnungsverkäuferin in allen fünf Versuchen, GPT-6 Astra in keinem. Umgekehrt hielt Opus ein getrenntes Paar, das seine Altersvorsorge aufteilen wollte, in allen fünf Versuchen für unverheiratet. Die Unterlagen verwiesen auf eine Hochzeitsfeier in Colorado und gemeinsame Jahre in Texas, wo eine Ehe unter bestimmten Bedingungen auch ohne Standesamt gilt. Astra prüfte den Familienstand in vier von fünf Versuchen.^[1]

Beide Fehler passieren, bevor der Agent zu rechnen beginnt: Einmal fehlt ein Hinweis, nach dem niemand gefragt hat, einmal eine Prüfung, die in den Unterlagen schon angelegt war. Dasselbe Muster zeigte ein Test mit KI-Agenten in der Personalsuche: Jeder Klick funktionierte, am Ziel der Firma ging der Agent trotzdem vorbei.

Wie belastbar ist die Rangliste?

Als Erfolg zählt ein Durchgang erst ab 95 Prozent der Prüfkriterien, im Median sind das 30,5 Kriterien je Aufgabe. Öffentlich auf Hugging Face stehen nur 2 der 50 Aufgaben, den Rest gibt Surge auf Anfrage heraus.^[3] Mit den Lösungen trainieren lässt sich so kein künftiges Modell, von außen nachprüfen lässt sich die Bewertung aber ebenso wenig.

Wie gut menschliche Steuerberater im selben Test abschneiden, veröffentlicht Surge nicht. Die drei ersten Plätze belegen Modelle von Anthropic. Surge beschreibt in einem eigenen Beitrag, wie Anthropic die Plattform des Unternehmens für Training und Bewertung von Claude nutzt.^[4] Für OpenAI baute Surge den Mathematik-Datensatz GSM8K.^[5]

KI-Agenten im Steuer-Test von Surge AI

50 Aufgaben aus der US-Steuerberatung, 16 Modelle im Vergleich

Der Test in Zahlen

10,8 %

Erfolgsquote erreicht Claude Sonnet 5.5, das beste Ergebnis im Test

95 %

der Prüfkriterien muss ein Durchgang erfüllen, um als Erfolg zu zählen

1.789 Dateien

verteilen sich auf die 50 Aufgaben, darunter 1.487 PDFs

3 Modelle

kommen auf null Prozent: Kimi K3, Mistral Large 4 und Qwen 3.8 Max

Erfolgsquote je Modell

Claude Sonnet 5.5

10,8 %

Claude Fable 5.1

9,6 %

Claude Opus 5.5

9,2 %

Muse Wonder 1.0

6,0 %

Grok 4.7

5,0 %

GPT-6 Astra

4,8 %

Gemini 4 Argon

3,2 %

Was bedeutet der Test für Kanzleien in Deutschland?

Alle 50 Aufgaben folgen US-Steuerrecht, vom IRS-Schreiben bis zum Altersvorsorgeplan 401(k). Hilfe in Steuersachen dürfen in Deutschland geschäftsmäßig nur Befugte leisten, etwa Steuerberater, Rechtsanwälte und Wirtschaftsprüfer.^[6] Ein KI-Agent arbeitet der Kanzlei also zu, die Verantwortung trägt der Steuerberater, der seinen Beruf nach § 57 StBerG eigenverantwortlich ausübt.^[7]

Bei 10,8 Prozent Erfolgsquote liefert Claude einen Entwurf, unterschreiben muss weiter die Kanzlei.
Markus Seyfferth, Chefredakteur Dr. Web

Seit dem 2. Februar 2025 verlangt Artikel 4 der KI-Verordnung zudem, dass Betreiber von KI-Systemen nach besten Kräften für ausreichende KI-Kompetenz ihres Personals sorgen.^[8] Für Kanzleien ergeben sich daraus drei Schritte:

Eigene Testfälle: Prüfen Sie einen Agenten gerne an abgeschlossenen Mandaten aus dem Vorjahr, deren richtiges Ergebnis feststeht.
Annahmen zuerst: Lassen Sie Fristen, Familienstand und Wohnsitz aus den Unterlagen auflisten, bevor der Agent rechnet.
Schulung festhalten: Dokumentieren Sie, wer im Team die Ergebnisse des Agenten prüft und wie diese Beschäftigten geschult wurden.

Im KI-Resilienz-Check für Steuerfachangestellte lesen Sie, welche Kanzleiaufgaben schon in die Software wandern. Programme für Belege und Buchungen stellt unser Buchhaltungssoftware-Vergleich nebeneinander.