Ein Sprachmodell mit 27 Milliarden Parametern hat bisher rund 54 Gigabyte Speicher gebraucht. PrismML hat es auf 3,9 Gigabyte gedrückt und lässt es auf einem iPhone laufen. Für Unternehmen, die KI aus Datenschutzgründen nicht in die Cloud geben wollen, verschiebt das die Rechnung.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Bonsai 27B trägt seinen Namen zu Recht. Das von Caltech-Forschern gegründete US-Unternehmen PrismML hat das Modell am 14. Juli 2026 unter Apache-2.0-Lizenz freigegeben[1]. Die interessante Frage ist nicht, ob die Schrumpfung funktioniert, sondern was dabei verloren geht.
Das Wichtigste in Kürze
- Bonsai 27B basiert auf Qwen3.6 27B und schrumpft von 54 auf 3,9 Gigabyte, ternär auf 5,9.
- Die ternäre Variante erreicht 94,6 Prozent der Leistung des unkomprimierten Modells.
- Auf einem iPhone 17 Pro liefert die 1-Bit-Version rund 11 Token pro Sekunde.
- Apache-2.0-Lizenz: kommerzielle Nutzung erlaubt, Betrieb ohne Cloud.
Wie schrumpft ein Modell um das Vierzehnfache?
PrismML ersetzt jedes Gewicht des Ausgangsmodells Qwen3.6 27B durch einen von drei Werten: minus eins, null oder plus eins. Ternäre Gewichte speichern damit nur noch Vorzeichen und Nullstellen, die eigentliche Größenordnung liefert ein gemeinsamer Skalierungsfaktor je Gewichtsgruppe.
Das funktioniert, weil die Information nicht im exakten Zahlenwert eines Gewichts steckt, sondern im Muster über viele Gewichte hinweg. Rechnerisch landet die 1-Bit-Variante bei 1,125 Bit pro Gewicht, die ternäre bei 1,58 Bit. Lokale Modelle sind seit Monaten praktikabel, zuletzt bei Qwen 3.5 auf dem Mac Studio.
Brauchen wirklich alle Gewichte dieselbe Präzision?
Die Begründung liefert eine im Juli 2026 veröffentlichte Arbeit von Hamish Ogilvy zur variablen Bitbreiten-Quantisierung[2]. Überlässt man einem Modell die Entscheidung, wie viele Bit jede Gewichtsgruppe bekommt, kollabieren 69 Prozent der Gruppen auf ein einziges Bit, während der erste MLP-Block hartnäckig rund 2,5 Bit behält.
Ungleich verteilt schlägt gleichmäßig: Ein fester Bit-Vorrat bringt mehr Qualität, wenn er ungleichmäßig ausgegeben wird. Diese Kompression ist deshalb keine simple Rundung, und deshalb bricht das Modell nicht zusammen. Derselbe Gedanke trägt kleine Modelle für schwache Netze und lokale Sprachsynthese auf der CPU.
Was die Kompression bringt und wo sie ihren Preis fordert
Speicherbedarf der Gewichte, rund 14-fach kleiner (1-Bit-Variante)
der Leistung des unkomprimierten Modells (ternäre Variante)
Tempo auf einem iPhone 17 Pro, ohne Cloud-Anbindung
Token Kontextfenster, Bilder und PDFs eingeschlossen
Im Betrieb braucht die ternäre Fassung rund 8,4 Gigabyte Spitzenspeicher bei 4.000 Token Kontext und 14,7 Gigabyte bei 100.000 Token, dazu 0,63 Gigabyte für den Bild-Encoder. Prüfen Sie den Speicherbedarf deshalb am längsten realistischen Dokument, nicht am Datenblatt.
Die spannende Zahl ist nicht die Kompression, sondern der Rest: 94,6 Prozent Leistung bei einem Neuntel des Speichers macht lokale KI zum ersten Mal zu einer betriebswirtschaftlichen und nicht nur zu einer datenschutzrechtlichen Entscheidung.
— Markus Seyfferth, Chefredakteur Dr. Web
Was kostet die Schrumpfung im Alltag?
Der Verlust verteilt sich ungleich, und darin liegt die Nachricht für Entscheider. In Mathematik erreicht die ternäre Variante 93,40 Punkte, beim Programmieren 85,96, bei der agentischen Werkzeugnutzung aber nur 74,01[3]. Ausgerechnet die Disziplin, auf die Unternehmen setzen, gibt am stärksten nach.
Auch die 3,9 Gigabyte aus der Schlagzeile beschreiben nur die Gewichte. Im Betrieb braucht die ternäre Fassung rund 8,4 Gigabyte Spitzenspeicher bei 4.000 Token Kontext und 14,7 Gigabyte bei 100.000 Token. Der Vorteil schmilzt also mit jedem langen Dokument, und für größere Aufbauten bleibt der Weg über mehrere eigene Rechner eine Alternative.
Was heißt das für Unternehmen im DACH-Raum?
Rechnet ein Modell auf dem Gerät, verlassen die Eingaben das Unternehmensnetz nicht. Damit entfallen der Auftragsverarbeitungsvertrag mit einem US-Anbieter und die Frage nach dem Drittlandtransfer. Die übrigen DSGVO-Pflichten bleiben bestehen, von der Rechtsgrundlage bis zur Datenschutz-Folgenabschätzung.
Vor dem Pilotversuch gehören vier Punkte auf den Tisch:
- Den Anwendungsfall prüfen: Zusammenfassen und Klassifizieren trägt das Modell, komplexe Agenten-Ketten eher nicht.
- Den Speicherbedarf am längsten realistischen Dokument messen, nicht am Datenblatt.
- Die Apache-2.0-Lizenz durch die Rechtsabteilung geben, sie deckt kommerzielle Nutzung und Weitergabe.
- Gegen eine europäische Alternative gegenrechnen, etwa Deutschlands offenes KI-Modell Soofi S.
Bonsai 27B steht bei Hugging Face bereit und läuft mit llama.cpp, Ollama oder LM Studio. Ein Test kostet einen Nachmittag und beantwortet, woran jeder Benchmark vorbeigeht: ob das Modell die eigenen Fälle trägt.
Quellen
[1] PrismML: „PrismML Announces 1-bit Bonsai 27B“ ↩
[2] Hamish Ogilvy: „Variable Bit-width Quantization: Learning Per-Group Precision for Bigger-but-Smaller Language Models“ ↩
[3] PrismML: Modellkarte Ternary-Bonsai-27B-gguf, Hugging Face ↩
Mehr Newshunger?
- Drei Bugs behoben: So wird Qwen 3.5 122B auf dem Mac Studio alltagstauglich
- Mesh LLM: Wie ein großes KI-Modell über mehrere eigene Rechner verteilt läuft
- Was kann Soofi S? Deutschlands offenes KI-Modell im Check
- Kokoro: Sprachsynthese läuft lokal auf der CPU statt in der Cloud
- Kleine KI-Modelle gewinnen dort an Boden, wo das Netz schwächelt
- Rowboat: die quelloffene, lokale Alternative zu Claude Desktop
