Ein Sprachmodell zu quantisieren, also auf einen Bruchteil seiner Größe zu schrumpfen, kostet oft keinen einzigen Prozentpunkt Genauigkeit; eine Stufe zu tief zerfallen die Antworten. Ein neuer Benchmark presst Qwen3.8 27B von 55 auf 6 Gigabyte und misst jede Stufe nach. Vier Bit liefern auf einer einzelnen Consumer-Grafikkarte die volle Leistung, ein Bit rät nur noch.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Die Quantisierung entscheidet, ob ein 27-Milliarden-Parameter-Modell auf eigener Hardware läuft oder ein Rechenzentrum verlangt. Das Analystenteam von Quesma hat Qwen3.8 27B durch fünf Kompressionsstufen geschickt und gemessen, was jede Stufe an Qualität kostet.[1]
Das Wichtigste in Kürze
- Vier Bit (rund 17 GB) liefern auf Wissens- und Coding-Tests praktisch die volle Genauigkeit.
- Zwei Bit (rund 11 GB) halten beim Wissen mit, fallen beim Coding aber sichtbar ab.
- Ein Bit (rund 6 GB) bricht auf Rateniveau zusammen.
- Die Vier-Bit-Fassung passt samt 64.000 Token Kontext auf eine einzelne 24-GB-Karte; das volle Format braucht 55 GB.
Wie stark lässt sich das Modell schrumpfen?
Quesma hat sechs Varianten von Qwen3.8 27B verglichen, vom vollen 16-Bit-Format (55 GB) bis zu zwei Ein-Bit-Fassungen (6,2 GB).[1] Auf GPQA Diamond, einem Test auf Graduiertenniveau, liegen alle Stufen von 16 Bit bis hinunter zu zwei Bit dicht beieinander, rund 95 bis 97 %. Erst bei einem Bit fällt der Wert auf etwa 25 %, das reine Rateniveau.
Die Instruktionstreue bleibt bis zwei Bit stabil, doch auf Terminal-Bench, einem Coding-Test mit 89 Aufgaben, sinkt die Erfolgsquote von rund 75 % (16 und vier Bit) auf etwa 70 % bei zwei Bit. Für lokale Aufbauten wie Lenovos Yoga Pro 9n, das Milliarden-Parameter-Modelle direkt im Laptop rechnet, trifft die Kompression damit zuerst die anspruchsvollen Aufgaben.
Warum überlebt Vier-Bit, aber Ein-Bit nicht?
Der Grund liegt in der Methode. Die getesteten Pakete stammen von Unsloth und verteilen die Präzision ungleich: Eine Importance-Matrix misst, welche Gewichte während der Antwort die größte Wirkung haben, und hält genau diese auf höherer Bit-Tiefe, während unwichtige Schichten aggressiv schrumpfen.[2] Deshalb hält die dynamische Zwei-Bit-Fassung das Wissen, obwohl sie im Schnitt kaum mehr als zwei Bit pro Gewicht nutzt.
Bei einem Bit bleibt für diese Feinsteuerung kein Spielraum, der Quantisierungsfehler überlagert das Signal, und das Modell verliert den Faden. Dasselbe Prinzip zeigt sich, wenn ein Riesenmodell wie GLM 5.2 auch ohne teure Grafikkarte auf einem langsamen Rechner brauchbar bleibt. Über die Qualität entscheidet nicht die reine Größe, sondern wie klug die Bits verteilt sind.
Der teuerste Fehler beim eigenen KI-Betrieb ist nicht die zu große Grafikkarte, sondern die zu billige: Vier Bit kosten fast nichts an Qualität, ein Bit kostet die Brauchbarkeit.
— Markus Seyfferth, Chefredakteur Dr. Web
Was heißt das für Ihr Unternehmen?
Für den Eigenbetrieb im Mittelstand verschiebt der Test die Rechnung. Ein Vier-Bit-Qwen läuft samt großzügigem Kontext auf einer einzelnen 24-GB-Karte und macht ein zweites Rechenzentrum überflüssig. Wie sich KI-Modelle auf eigener Hardware betreiben lassen, zeigt unser Grundlagenbeitrag; den passenden Praxisleitfaden für die Hardware haben wir gesondert aufbereitet.
Der Hebel ist strategisch. Offene Gewichte auf eigener Hardware halten Daten im Unternehmen und umgehen die laufenden Token-Kosten der Cloud, ein Grund, warum immer mehr Konzerne auf Open-Source-KI statt auf OpenAI oder Anthropic setzen. Auch SAP öffnet seine KI inzwischen für On-Premise-Kunden, wenn auch nur gegen ein Cloud-Bekenntnis. Unter DSGVO und dem EU AI Act wird die lokale, quantisierte Variante damit oft zur pragmatischeren Wahl, sofern zwei Bit für die Aufgabe reichen.
Als Faustregel bleibt vier Bit die sichere Wahl und zwei Bit ein kalkuliertes Risiko für einfache Aufgaben; ein Bit taugt allein zum Experimentieren. Entscheidend bleibt der Test auf den eigenen Aufgaben, nicht der kleinste Speicherbedarf.
Quellen
[1] Quesma: „Benchmarking Qwen3.8 27B quantizations“
[2] Unsloth: „Unsloth Dynamic 2.0 GGUFs“
Mehr Newshunger?
- Ant Group öffnet sein erstes multimodales KI-Modell Ling-3.0-flash-VL
- GLM-5.3-Flash: Zhipu veröffentlicht ein multimodales KI-Modell zum Zehntel des Preises
- Nvidia kauft Hugging Face: 11,25 Milliarden Euro für den offenen KI-Hub
- Mistral sammelt 3 Milliarden Euro ein: Europas größte Tech-Finanzierungsrunde
- Hunyuan Hy4: Tencent veröffentlicht sein erstes offenes Multimodal-Modell
- KI-Modelle lokal auf dem Mac: Was das quelloffene Tool Nativ leistet
