1000 Tokens pro Sekunde markieren eine neue Tempomarke in der KI-Welt, und sie kommt von Xiaomi. Gemeinsam mit dem Systemteam TileRT bringt der Konzern sein Modell MiMo-V2.5-Pro auf eine Ausgabegeschwindigkeit, die bei einer Billion Parametern bislang als kaum erreichbar galt. Bemerkenswert ist der Weg dorthin: Standard-Hardware statt Spezialchips.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Geschwindigkeit galt lange als Komfortmerkmal, doch bei einer Billion Parametern wird sie zur eigenen Fähigkeit. In der Demo erreicht das Modell bis zu rund 1200 Tokens pro Sekunde. Bei diesem Tempo kann ein KI-System mehrere Lösungswege parallel durchrechnen und sich im Hintergrund selbst korrigieren, statt auf eine einzige Antwort zu warten.
Das Wichtigste in Kürze
- Xiaomi und TileRT erreichen erstmals 1000 Tokens pro Sekunde bei einem 1-Billion-Parameter-Modell.
- Möglich wird das auf handelsüblichen GPUs, ohne Spezialhardware wie bei Cerebras oder Groq.
- Der API-Zugang kostet das Dreifache des Standardmodells, liefert aber etwa die zehnfache Geschwindigkeit.
Wie schafft Xiaomi dieses Tempo?
Modell und System zusammen bilden den Schlüssel. Statt auf teure Spezialchips zu setzen, optimieren beide Teams Modell und Laufzeitumgebung gemeinsam. Eine FP4-Quantisierung schrumpft die Experten-Schichten des Modells und entlastet so den Speicherbus, während ein neues Verfahren namens DFlash mehrere Tokens in einem Durchgang vorhersagt.
Ein einzelner Knoten genügt für das Ergebnis. Die Laufzeitumgebung TileRT hält die Rechenkette dauerhaft auf der GPU aktiv und vermeidet die kleinen Pausen, die bei dieser Frequenz zum Engpass werden. Zusammen erzielen beide das Tempo auf einem einzigen Standard-Knoten mit acht GPUs.
Spannend ist nicht die Schlagzeile, sondern die Methode. Wer solche Geschwindigkeit auf Allerwelts-Hardware erreicht, macht schnelle KI für viel mehr Betriebe bezahlbar.
— Michael Dobler, Herausgeber Dr. Web
Was heißt das für den KI-Einsatz?
Echtzeit rückt näher für anspruchsvolle Aufgaben. Bei vierstelligen Token-Raten lassen sich große Modelle in zeitkritische Abläufe einbinden, etwa in schnelle Programmierhilfen oder Entscheidungen, die im Sekundenbruchteil fallen müssen. Der enge Zeitabstand zwischen Frage und Antwort verändert, wofür sich ein Spitzenmodell überhaupt eignet.
Den Schnellmodus gibt Xiaomi vorerst nur über einen begrenzten, antragsbasierten Zugang frei, das quantisierte Basismodell steht dagegen offen auf HuggingFace bereit. Für eigene Tests lohnt der Blick auf die quelloffene Variante, bevor Sie den kostenpflichtigen Schnellzugang in Betracht ziehen. Alle technischen Details beschreibt Xiaomi in der offiziellen Ankündigung zu MiMo-V2.5-Pro-UltraSpeed.
