Ein Textsuche-Modell, das ohne Server auskommt und pro Anfrage in unter fünf Millisekunden rechnet: Der Entwickler @soycaporal hat mit Ternlight ein Embedding-Modell gebaut, das vollständig im Browser des Nutzers läuft. Für datensensible Unternehmen ist das mehr als eine technische Fingerübung.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Ein Embedding-Modell in gerade einmal 7 Megabyte klingt nach einem Widerspruch, denn vergleichbare Modelle wiegen im Rohformat schnell das Zehnfache. Genau diese Grenze verschiebt Ternlight, indem es die komplette Suche auf das Gerät des Nutzers verlagert. So verlässt kein einziger Suchbegriff mehr den Rechner.
Das Wichtigste in Kürze
- 7 MB (Basis) beziehungsweise 5 MB (Mini): Ternlight erzeugt 384-dimensionale Vektoren und läuft per WebAssembly rein auf der CPU, ohne Server und ohne GPU.
- Ternäre Quantisierung macht das möglich: Die Gewichte kennen nur die Werte minus 1, 0 und plus 1, was rund 1,58 Bit pro Gewicht entspricht und über 90 Prozent Speicher spart.
- Kein Suchtext verlässt den Browser, was Embedding-APIs von US-Anbietern und den damit verbundenen Datentransfer überflüssig macht.
- Lizenz MIT, gedacht für Suche während des Tippens, FAQ-Abgleich und durchsuchbare Wissensdatenbanken.
Was steckt in sieben Megabyte?
Ternlight ist kein Sprachmodell, sondern ein Embedding-Modell: Text geht hinein, ein 384-dimensionaler Vektor kommt heraus, und der Abstand zweier Vektoren zeigt, wie ähnlich sich zwei Texte sind.
Der Entwickler hat das Modell aus MiniLM-L6 destilliert und mit ternärer, quantisierungsbewusster Nachschulung auf Miniaturgröße gebracht[1]. Die Inferenz-Engine ist in Rust geschrieben und als WebAssembly mit SIMD-Optimierung kompiliert, was die knapp fünf Millisekunden pro Einbettung erklärt. Zum Lehrer-Modell hält Ternlight nach Angaben des Entwicklers eine Rangkorrelation von 0,84.
Praxisnah wird das bei Suche-während-des-Tippens, beim Abgleich von Support-Anfragen mit einer FAQ oder beim Durchsuchen einer privaten Wissensbasis, alles ohne Netzverbindung. In der Diskussion auf Hacker News wird allerdings eingewandt, dass belastbare Benchmarks noch fehlen und Alternativen wie gte-small auf gängigen Testreihen stärker abschneiden. Solche Einwände sind Community-Stimmen, keine gesicherten Messwerte.
Warum passt ein KI-Modell plötzlich in den Browser?
Möglich macht das ternäre Quantisierung: Statt jedes Gewicht als 32-Bit-Kommazahl abzulegen, kennt das Modell nur die Zustände minus 1, 0 und plus 1. Der Speicherbedarf sinkt dadurch um über 90 Prozent, ohne die Trefferqualität stark zu senken.
Diese Technik ist kein Einzelfall, sondern folgt einem Muster: Das Microsoft-Forschungsteam hinter BitNet b1.58 hat ternäre Gewichte für große Sprachmodelle bereits etabliert, und die Distillation über MiniLM taucht dort ebenfalls auf[2]. Ternlight überträgt diesen Kompressionsansatz auf ein Embedding-Modell und bringt ihn in den Browser. Wie weit sich verlustfreie Suche mit aggressiver Quantisierung treiben lässt, zeigt auch die asymmetrische Quantisierung mit 97 Prozent weniger Speicher.
Lokale Embedding-Modelle verschieben die Rechenlast dorthin, wo die Daten ohnehin liegen, nämlich auf das Gerät des Nutzers. Für jede Firma, die bisher Suchtext an eine US-API geschickt hat, fällt damit ein ganzes DSGVO-Risiko einfach weg.
— Markus Seyfferth, Chefredakteur Dr. Web
Woher die 90 Prozent Ersparnis kommen
Was bedeutet das für Entscheider im DACH-Raum?
Für DACH-Firmen verschwinden zwei Kostenblöcke auf einmal: der Datentransfer an US-Embedding-APIs und die laufenden Token-Gebühren für jede Vektorisierung. Der Preis dafür ist eine etwas geringere Genauigkeit als bei großen Cloud-Modellen.
Datenschutz zuerst: Weil die Vektorisierung im Browser passiert, wird kein Nutzertext an einen Dienstleister übertragen. Damit entschärft sich die DSGVO-Frage, die bei jeder Übermittlung an eine US-Cloud aufkommt, und passt zu dem Befund, dass Europas Firmenwebsites überwiegend über US-Anbieter laufen.
Kostenseite: Pro Suchanfrage fallen keine API-Gebühren an, ein Punkt, der angesichts des drohenden Margen-Kollapses der KI-Branche zählt. Wie irreführend reine Token-Preise als Kennzahl sind, ordnet unsere Analyse zu den Kosten pro Million Token ein. Ternlight reiht sich damit in den Trend ein, dass kleine KI-Modelle dort an Boden gewinnen, wo das Netz schwächelt.
Konkret lohnt sich ein Test dort, wo bisher eine Cloud-API die Suche übernimmt, etwa in der internen Wissensdatenbank oder der FAQ-Suche im Shop. Bei maximalem Präzisionsanspruch sollten Sie Ternlight vor dem Wechsel gegen ein etabliertes Modell wie gte-small prüfen. Für eine erste Einordnung, welche KI-Werkzeuge im Betrieb wirklich zählen, hilft unser Leitfaden zu KI-Tools im Unternehmen.
Quellen
[1] Ternlight (Entwickler @soycaporal): Projekt-Demo und Modellbeschreibung ↩
[2] Microsoft Research: „BitNet Distillation“ (arXiv) ↩
Mehr Newshunger?
- GLM 5.2 und der drohende Margen-Kollaps der KI-Branche
- Kleine KI-Modelle gewinnen dort an Boden, wo das Netz schwächelt
- Preis pro Million Token: Warum die beliebteste KI-Kostenkennzahl in die Irre führt
- Asymmetrische Quantisierung: Fast verlustfreie Suche bei 97 Prozent weniger Speicher
- Ein globaler Arbeitsraum in Sprachmodellen: Wie Anthropic Claudes inneres Denken sichtbar macht
