Moore Threads verspricht mit einem neuen Ansatz namens Prefill-as-a-Service, die teuerste Phase der KI-Inferenz zu verbilligen: das Einlesen langer Eingaben. Auf seiner Spitzen-GPU MTT S5000 trennt der chinesische Grafikchip-Hersteller das Einlesen vom Antworten und meldet dafür über 4.000 Token pro Sekunde. Die Zahlen stammen bislang allein vom Anbieter.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Bei langen KI-Kontexten verbrennt ein Agent die meiste Rechenzeit, bevor er das erste Wort ausgibt: beim Einlesen der Eingabe. Genau dort setzt Moore Threads mit dem Ansatz Prefill-as-a-Service an, vorgestellt am 24. August 2026. Für Firmen, die Agenten und lange Dokumente durch Sprachmodelle schicken, entscheidet diese Phase über die Rechnung.
Das Wichtigste in Kürze
- Moore Threads trennt beim Ansatz Prefill-as-a-Service das Einlesen der Eingabe vom Erzeugen der Antwort und rechnet beide Phasen getrennt.
- Für die Spitzen-GPU MTT S5000 nennt der Hersteller über 4.000 Token pro Sekunde beim Einlesen und über 1.000 beim Antworten, erreicht mit FP8-Präzision.
- Lange Kontexte wie Agenten, Code und umfangreiche Dokumente treffen vor allem die Einlese-Phase, den größten Kostenblock der KI-Inferenz.
- Alle Werte sind Herstellerangaben ohne unabhängigen Test; die MTT S5000 stammt von einem Anbieter auf der US-Handelsschwarzliste.
Was steckt hinter Prefill-as-a-Service?
Zwei Phasen bestimmen jede Antwort eines Sprachmodells. Beim Prefill liest das Modell die gesamte Eingabe auf einmal ein und legt einen Zwischenspeicher an, den KV-Cache. Diese Phase lastet die Rechenwerke der GPU voll aus. Beim Decode entstehen die Antwort-Token danach einzeln, was vor allem an der Speicherbandbreite hängt und die Rechenwerke halb leer laufen lässt.
Lange Eingaben verschieben das Gewicht klar auf den Prefill. Ein Agent mit großem Kontext, ein komplettes Code-Projekt oder ein hundertseitiges Dokument bläht die Eingabe auf. Die Wartezeit bis zum ersten Token steigt entsprechend. Prefill-as-a-Service löst die beiden Phasen deshalb voneinander und schiebt das rechenintensive Einlesen auf eigene, darauf abgestimmte Ressourcen. Fachleute nennen diese Aufteilung PD-Trennung.
Neu ist die Idee nicht. Nvidia bündelt die getrennte Auslieferung in seinem Dynamo-Stack, offene Projekte wie vLLM und SGLang setzen dasselbe Prinzip um und auch DeepSeek fährt seine Inferenz nach diesem Muster. Der Beitrag von Moore Threads liegt darin, die Trennung auf eigener, heimischer Hardware zum Laufen zu bringen, samt einem Kommunikations-Baustein, der den Datenaustausch zwischen beiden Phasen parallel zur Rechnung abwickelt.
Die eigentliche Nachricht steckt nicht in den 4.000 Token, sondern darin, dass China die Inferenz-Optimierung inzwischen komplett auf eigener Hardware nachbaut. Europäische Betreiber von Agenten zahlen dieselbe Prefill-Rechnung, nur eben auf Nvidia-Chips, die sich kaum ersetzen lassen.
— Markus Seyfferth, Chefredakteur Dr. Web
Wie schnell rechnet die MTT S5000 wirklich?
Über 4.000 Token pro Sekunde nennt Moore Threads für den Prefill auf einer einzelnen MTT S5000, dazu über 1.000 Token pro Sekunde beim Decode.[1] Möglich machen diese Werte laut Whitepaper die FP8-Präzision und drei eigene Beschleuniger im Chip, darunter eine Einheit allein für die Kommunikation. Der Inferenz-Anbieter SiliconFlow lagert den Datenaustausch auf diese Einheit aus und lässt Rechnen und Datentransport parallel laufen.
Herstellerangaben ohne Gegenprobe. Einen unabhängigen Vergleich, etwa über die MLPerf-Messungen, liefert bislang niemand. Schon im Dezember 2025 warb Moore Threads damit, die MTT S5000 erreiche rund 60 Prozent der KI-Geschwindigkeit von Nvidias H100, ebenfalls eine eigene Zahl. Die absolute Rechenleistung der US-Chips bleibt vorerst höher, der Ansatz zielt daher auf bessere Auslastung statt auf rohe Kraft.
Was bedeutet das für Anwender im DACH-Raum?
Inferenz frisst das Budget. Nicht das Training, sondern der laufende Betrieb bestimmt heute die Rechnung, sobald Firmen Agenten und lange Dokumente durch Modelle schicken. Dieselbe Ökonomie trieb DeepSeek zu Nachttarifen und Snowflake zum automatischen Modell-Routing. Ein Dr.-Web-Vergleich der Inferenzkosten zeigte bereits, wie stark der Preis je Token je nach Chip schwankt.
Ein zweiter Stack entsteht. Moore Threads steht seit Anfang 2025 auf der US-Handelsschwarzliste und entwickelt seine GPUs bewusst ohne westliche Bauteile. Damit wächst neben Nvidias Welt eine zweite, heimische Rechen-Umgebung heran, ähnlich wie bei Chinas eigenen Ätzanlagen und Speicherchips. Europa dagegen hängt bei der KI-Inferenz weiter fast vollständig an Nvidia, wie die knappe Zahl zertifizierter deutscher Systemhäuser zeigt.
Was jetzt zählt. Prüfen Sie bei KI-Projekten getrennt, wie viel Rechenzeit auf das Einlesen langer Eingaben entfällt, denn dort liegt der größte Hebel für die Kosten. Halten Sie Herstellerzahlen ohne MLPerf-Beleg für Marketing, bis ein unabhängiger Test vorliegt. Und behalten Sie im Blick, dass die günstigste Inferenz künftig womöglich auf Hardware läuft, die in Europa niemand kaufen darf.
FAQ: Prefill-as-a-Service und die MTT S5000
Was bedeutet Prefill bei einem KI-Modell?
Prefill ist die erste Phase der Texterzeugung, in der ein Sprachmodell die gesamte Eingabe auf einmal einliest und daraus einen Zwischenspeicher aufbaut, den KV-Cache. Diese Phase lastet die Rechenwerke der GPU stark aus und bestimmt bei langen Eingaben, wie lange der Nutzer auf das erste Antwort-Token wartet.
Warum sind lange Kontexte bei der KI-Inferenz teuer?
Lange Eingaben wie ganze Code-Projekte, umfangreiche Dokumente oder Agenten mit großem Gedächtnis vergrößern die Prefill-Phase überproportional. Der Rechenaufwand steigt mit der Eingabelänge, weshalb bei langen Kontexten das Einlesen und nicht das Antworten den größten Kostenblock ausmacht.
Was ist die MTT S5000 von Moore Threads?
Die MTT S5000 ist die Spitzen-GPU des chinesischen Herstellers Moore Threads für Training und Inferenz, gebaut auf der hauseigenen Pinghu-Architektur. Moore Threads steht seit Anfang 2025 auf der US-Handelsschwarzliste und entwickelt seine Chips ohne westliche Bauteile.
Sind die genannten Leistungswerte unabhängig geprüft?
Nein. Die Werte von über 4.000 Token pro Sekunde beim Prefill und über 1.000 beim Decode stammen aus dem Whitepaper von Moore Threads selbst. Ein unabhängiger Benchmark, etwa über MLPerf, liegt bislang nicht vor, weshalb die Angaben als Herstellerzahlen zu behandeln sind.
Quelle
[1] Moore Threads: „MTT S5000, Prefill-as-a-Service (Whitepaper und Produktseite)“
Mehr Newshunger?
- Alibaba holt sich 8,9 Milliarden Euro für seine KI-Fabriken
- Rekordumsatz, halber Gewinn: ZTE wird vom Netzausrüster zum KI-Lieferanten
- Kingsoft Cloud: Erstmals kommt mehr als die Hälfte des Cloud-Umsatzes aus der KI
- Baidu bezahlt den KI-Umbau mit zwei Dritteln seines Gewinns
- DeepSeek gibt seinem KI-Modell Augen: ein Bild kostet Bruchteile eines Cents
