Ein einzelner Entwickler hat einen Tokenizer gebaut, der Text fast tausendmal schneller zerlegt als der Standard von HuggingFace. Die Zahl klingt nach einem Umbruch bei den KI-Kosten. Auf der Cloud-Rechnung der meisten Unternehmen ändert sie fast nichts, und genau darin liegt die eigentliche Lektion.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Schnellere Tokenisierung gilt seit dem Release von GigaToken als frischer Hebel gegen teure KI. Der Rust-Entwickler Marcel Røed misst für sein Werkzeug Durchsätze im Gigabyte-Bereich pro Sekunde, wo etablierte Bibliotheken im Megabyte-Bereich bleiben. Bevor das in die eigene Infrastruktur einzieht, lohnt der Blick darauf, welchen Teil der Rechnung dieser Schritt überhaupt betrifft.
Das Wichtigste in Kürze
- GigaToken ist ein quelloffener Tokenizer in Rust, nach Messung des Entwicklers bis zu 989-mal schneller als HuggingFaces Standardbibliothek.
- Der Sprung entsteht durch handoptimierten SIMD-Code statt einer Regex-Engine und durch aggressives Zwischenspeichern bereits gesehener Wörter.
- Tokenisierung macht nur einen Bruchteil einer LLM-Anfrage aus, deshalb schrumpft der Vorteil im Gesamtbetrieb auf wenige Prozent.
- Praktisch zahlt sich das vor allem bei der Aufbereitung großer Datenmengen und beim selbst betriebenen Serving aus, kaum beim reinen API-Zugriff.
Was macht GigaToken tausendmal schneller?
GigaToken ersetzt den langsamsten Schritt der Tokenisierung, die Pretokenisierung, die üblicherweise eine Regex-Engine übernimmt. Statt regulärer Ausdrücke nutzt Marcel Røed eine handgeschriebene Zustandsmaschine mit SIMD-Befehlen, die viele Zeichen gleichzeitig prüft und Programmverzweigungen vermeidet.
Dazu kommt ein aggressiver Zwischenspeicher: Ein bereits zerlegtes Wort schlägt der Tokenizer beim nächsten Auftreten direkt nach. Auf einem Server mit 144 Kernen hat das Werkzeug so 24,53 Gigabyte pro Sekunde für den GPT-2-Tokenizer erreicht, gegenüber 24,8 Megabyte pro Sekunde bei HuggingFace.[1]
Das Ergebnis ist ein quelloffener Ersatz unter MIT-Lizenz, den Teams als direkten Austausch für die gewohnte Bibliothek einsetzen können.
Warum die Zahl auf der Rechnung kaum auftaucht?
Der Haken steckt im Gesamtsystem. Tokenisierung ist nur die Vorstufe, in der Text in Zahlen übersetzt wird; die eigentliche Arbeit erledigt danach das Sprachmodell auf teuren Grafikkarten.
Dieser Rechenschritt verschlingt den weitaus größten Teil von Zeit und Geld. Selbst ein tausendfach schnellerer Tokenizer beschleunigt eine komplette Anfrage deshalb nur im einstelligen Prozentbereich, weil er einen ohnehin winzigen Anteil weiter verkürzt.
Für Unternehmen, die KI schlicht per Schnittstelle einkaufen, bleibt der Effekt damit unsichtbar. Der Preis pro Anfrage entsteht an der Grafikkarte, nicht am Tokenizer. Aus demselben Grund taugt auch die verbreitete Kennzahl Preis pro Million Token nur bedingt als Kostenmaßstab.
Ein tausendfach schnellerer Baustein ergibt selten eine tausendfach günstigere KI. Entscheidend bleibt, welchen Anteil dieser Baustein am gesamten Prozess hat.
— Markus Seyfferth, Chefredakteur Dr. Web
Was Entscheider aus dem 1000x-Versprechen mitnehmen
GigaToken reiht sich in eine Welle von Effizienz-Projekten ein, die den KI-Stack in Rust neu schreiben, um Tempo und Kosten zu drücken. Der eigentliche Kostenkampf läuft jedoch eine Ebene tiefer, bei Grafikkarten und Rechenzentren.
Konkret nützlich wird das Werkzeug dort, wo Tokenisierung wirklich ins Gewicht fällt: beim Aufbereiten riesiger Textmengen für Training oder Suche und beim selbst betriebenen Serving, wo jede Millisekunde bis zum ersten Token zählt.
Buchen Sie KI dagegen nur als Dienst, prüfen Sie solche Versprechen mit einer einzigen Frage: Welchen Anteil am Gesamtprozess beschleunigt die genannte Zahl wirklich? Als quelloffenes Projekt lässt sich GigaToken risikoarm testen, der konkrete Nutzen entscheidet sich aber an Ihrem eigenen Aufbau.
Quelle
[1] GigaToken (Marcel Røed): „gigatoken: ~1000x faster than HuggingFace’s tokenizers“ ↩
Mehr Newshunger?
- Preis pro Million Token: Warum die beliebteste KI-Kostenkennzahl in die Irre führt
- Niemand weiß, was ein gebrauchter GPU-Cluster wirklich wert ist
- Ein Chip nur für Gemini: Wie Google die KI-Kosten senken und Nvidia umgehen will
- Der Stand der Open-Source-KI: 3,3 Prozent Rückstand, 4 Prozent vom Umsatz
- Drei neue Azure-Maschinen, zwei davon ohne GPU: Microsofts AMD-Ausbau
