Der Entwickler George Mandis stellte am 4. November in seinem Blog die Schrift Tokenizer Mono vor, die LLM-Tokens beim Tippen farbig hinterlegt. Die Markierung funktioniert ohne JavaScript, denn die Farben stecken in der Schriftdatei.[1]
Ein Klick · kostenlosDr. Web bei Google bevorzugenMarkieren Sie drweb.de als bevorzugte Quelle. Dann sehen Sie unsere Artikel öfter unter den Top-Meldungen.Jetzt hinzufügenInhalt 5 Abschnitte
Die Schriftfamilie umfasst 28 Varianten, je eine für jeden Tokenizer, darunter die für OpenAI und Meta. Als Basis dient IBM Plex Mono.[2]
Das Wichtigste in Kürze
- Tokens sind die Textbausteine, nach denen KI-Anbieter abrechnen, die Schrift markiert ihre Grenzen.
- Mandis beziffert die Übereinstimmung mit dem echten Tokenizer bei OpenAIs cl100k auf 98,0 Prozent, bei Googles T5 auf 85,7 Prozent.
- Die Dateien sind groß: 10,9 MB für cl100k, 128 MB im Gesamtpaket.
Wie entstehen die Farben?
Für jedes Token des Vokabulars gibt es eine OpenType-Regel, die dessen Buchstaben durch gefärbte Varianten ersetzt. Ein kleiner Automat wechselt dabei zwischen fünf Farben.
Tokenizer Mono nutzt die Glyphen-Ersetzung, mit der sonst Ligaturen wie in Fira Code entstehen. Es gilt die längste passende Regel, ein Zustandsautomat mit 22 Regeln verteilt die Farben. Fünf Farben wechseln sich ab, zwei Nachbarn haben nie dieselbe.[1][2]
Auch viele Farb-Emojis nutzen die Tabellen COLR und CPAL, aus denen hier die Farben kommen. Zwei Paletten für helle und dunkle Hintergründe wählt die CSS-Eigenschaft font-palette. Wo die Farbtabelle fehlt, etwa in Terminals, erscheint die schlichte Basisschrift IBM Plex Mono.[1]
Wie genau ist das Ergebnis?
Bei OpenAIs cl100k stimmen 98,0 Prozent der Token-Grenzen mit dem echten Tokenizer überein, bei Googles T5 nur 85,7 Prozent. Gemessen hat Mandis selbst.
Grundlage ist ein Korpus aus rund 200 Zeilen englischem Text und Code. Die Schrift setzt immer das längste passende Token, ein echter BPE-Tokenizer wendet dagegen gelernte Merge-Regeln in fester Reihenfolge an. Online-Werkzeuge wie das von OpenAI nutzen dagegen den echten Tokenizer. cl100k zerlegt das Wort „antidisestablishmentarianism“ in ant|idis|establish|ment|arian|ism, die Schrift in antid|ises|tabl|ishment|arian|ism.[1]
Eine exakte Nachbildung scheitert an einer Formatgrenze: OpenType erlaubt höchstens 65.535 Lookups, cl100k umfasst rund 100.000 Merge-Regeln. Als Behelfslösung ergänzte Mandis Sonderregeln für die 60.000 häufigsten englischen Wörter, die Datei wuchs dadurch von 4,4 auf 10,9 MB.[1]
Eckdaten, Stand 6. November 2026
Anteil der Token-Grenzen, die mit dem echten Tokenizer übereinstimmen
Wie ein Text in Tokens zerfällt, begreift man schneller, wenn die Schrift es beim Tippen zeigt.
Markus Seyfferth, Chefredakteur Dr. Web
Wofür taugt Tokenizer Mono im Alltag?
Zum Lernen und zum Testen von Prompts im Browser reicht sie, als Grundlage für Kostenrechnungen nicht.
KI-Anbieter rechnen nach Tokens ab, deshalb lohnt der Blick darauf, wo die Token-Grenzen verlaufen. Warum der Preis pro Million Tokens in die Irre führt, steht in einem früheren Beitrag, ebenso, an welchen Stellen schnellere Tokenisierung Kosten senkt und an welchen nicht.
Für deutsche Texte enthält die Schrift Latin-1-Zeichen und damit Umlaute. Die Messung erfasst jedoch nur englischen Text und Code. Wie genau die Schrift deutsche Sätze abbildet, prüfte Mandis nicht. Eine Variante für Claude fehlt, weil Anthropic den Tokenizer nicht veröffentlicht.[2][1]
Zudem brechen Browser Zeilen um, bevor die Schrift den Text verarbeitet. Ein Wort am Zeilenanfang verliert sein führendes Leerzeichen und wird dadurch zu einem anderen Token, die Farben springen, wenn sich die Fensterbreite ändert. Ein breiter Container oder white-space: nowrap umgeht das Umbruchproblem.[1]
Was sollten Agenturen vor dem Einsatz prüfen?
Die Lizenz des Projekts ist ungeklärt, und die Dateien sind groß.
Das Repository hatte am 6. November einen GitHub-Stern und enthält keine Lizenzdatei. Die Basis IBM Plex steht unter der SIL Open Font License 1.1.[2][4] Vor dem Einsatz in Kundenprojekten sollten Agenturen bei Mandis die Erlaubnis zur Nutzung einholen.
Das Webpaket mit allen WOFF2-Dateien wiegt 27 MB, das Gesamtpaket 128 MB. Eine Lernseite braucht nur eine Variante.[3]
Der LLMs-Ratgeber erklärt die Grundlagen zu Sprachmodellen, und der Beitrag zu Paper Mono stellt eine freie Monospace-Schrift vor.
Quellen
4 Quellen anzeigenQuellen ausblenden
- George MandisTokenizer Mono (Blogbeitrag vom 4. November 2026)
- GitHubgeorgemandis/tokenizer-mono (README, Abruf)
- GitHubRelease v0.2.0 von Tokenizer Mono (Genauigkeitstabelle, Dateigrößen)
- GitHubIBM Plex, Lizenztext (SIL Open Font License 1.1)
Mehr Newshunger?
- Paper Mono: Kostenlose Monospace-Schrift für Design und Code mit acht Schnitten
- Preis pro Million Token: Warum die beliebteste KI-Kostenkennzahl in die Irre führt
- 1000-mal schnellere Tokenisierung: Wo sie KI-Kosten senkt und wo nicht
- interface-bts: Skill zeichnet Animationen als Spezifikations-Poster
- Mean: Kostenlose Mac-App markiert Screenshots für KI-Agenten
- Claude Haiku 5.5: Anthropic senkt den Grundpreis um 90 Prozent
