Viele Unternehmen wählen beim KI-Einsatz zuerst das beste Modell und bauen die Architektur drumherum. Der Investor Tomasz Tunguz hält das für die falsche Reihenfolge. Der eigentliche Hebel für die KI-Rechnung liegt im Router.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Beim Thema KI-Kosten entscheidet nicht das Modell, sondern der Weg dorthin. Tunguz beschreibt in seiner Analyse einen kleinen Code-Baustein, der jede Anfrage einer Modellstufe zuordnet. Sitzt dieser Verteiler richtig, laufen 70 bis 80 Prozent des Verkehrs über lokale Modelle, die pro Aufruf nichts kosten.
Das Wichtigste in Kürze
- Der Router entscheidet vor dem Modell, welche Stufe eine Anfrage bearbeitet.
- 70 bis 80 Prozent der Aufgaben laufen laut Tunguz über lokale oder günstige Modelle.
- Coinbase halbierte die KI-Ausgaben, obwohl das Token-Volumen wuchs.
- Asynchrone Stapelverarbeitung senkt die Kosten pro Aufgabe um über 90 Prozent.
Warum kommt der Router vor das Modell?
Die meisten Teams bauen Agenten, indem sie das Modell zuerst festlegen und die Architektur danach. Tunguz nennt diese Reihenfolge verkehrt. Die Modellwahl sei die letzte Entscheidung, nicht die erste. Entscheidend bleibe der Router, ein kleines Stück Code, das jede Anfrage einer Modellstufe zuweist.
Tunguz trennt zwei Bausteine sauber. Ein Klassifikator übersetzt die rohe Nutzeranfrage in einen konkreten Vorgang. Der Router plant danach, welche Stufe den Vorgang abarbeitet. Die Sprache liegt beim Klassifikator, die Terminplanung beim Router. Wer beides vermischt, verliert die Möglichkeit, verschiedene Modelle gegen denselben Vorgang zu testen. Dass lokale Modelle 2026 alltagstauglich geworden sind, liefert dafür die Grundlage.
Wie viel Arbeit braucht wirklich Echtzeit?
Lokale Rechenleistung kostet fast nichts. Asynchrone Verarbeitung im Stapel läuft laut Tunguz zwei Größenordnungen günstiger als Antworten in Echtzeit. Damit verengt sich die eigentliche Frage: Welcher Anteil der Arbeit muss in einer Sekunde zurückkommen? Überraschend wenig, sobald ein System Aufgaben in eine Warteschlange legen kann.
Eine Entwurfsantwort, eine Repository-Zusammenfassung, ein nächtlicher Prüflauf: Keiner dieser Vorgänge muss sofort fertig sein. Genau dieses Muster zeigt sich auch bei Microsoft, das Copilot-Anfragen in Excel und Outlook auf eigene Modelle umleitet.
Der teuerste Fehler beim KI-Einsatz steckt selten im Modell, sondern in der Gewohnheit, jede Anfrage sofort an das stärkste System zu schicken. Eine Warteschlange und ein sauberer Verteiler sparen mehr als jeder Modellwechsel.
— Michael Dobler, Herausgeber Dr. Web
Was heißt das für den Mittelstand?
Brian Armstrong von Coinbase machte kürzlich dieselbe Rechnung auf. Das Unternehmen halbierte die KI-Ausgaben, während der Token-Verbrauch wuchs. Der Weg dorthin führte nicht über Sperren und Warnungen, sondern über bessere Voreinstellungen, Routing und Zwischenspeicher.
Für Entscheider im DACH-Raum ergibt sich eine klare Aufgabe. Prüfen Sie, welcher Anteil Ihrer KI-Aufgaben tatsächlich sofort antworten muss. Welche Modelle sich für welche Stufe eignen, ordnet unser LLMs-Ratgeber ein.
Mehr Newshunger?
- Copilot ohne OpenAI: Microsoft schaltet auf eigene Modelle um
- Needle: Schlägt ein 26-Millionen-Modell die Großen?
- GPT-5.6 Sol Ultra: Wenn mehr Subagenten die Token-Rechnung treiben
- Spitzen-KI-Modelle lokal betreiben: Was der Praxisleitfaden empfiehlt
- Inferenzkosten: Wie teuer wird der KI-Börsengang wirklich?
