Ein quelloffenes Sprachmodell mit 744 Milliarden Parametern galt bisher als Sache großer Rechenzentren. Das Werkzeug Colibri bringt genau dieses Modell auf einen gewöhnlichen Bürolaptop. Für Entscheider stellt sich damit neu, ob eigene KI zwingend aus der US-Cloud kommen muss.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Große KI-Modelle lokal zu betreiben, war lange den teuren Grafikkarten-Racks vorbehalten. Ein Zwölf-Kern-Laptop mit 25 Gigabyte Arbeitsspeicher hat diese Annahme widerlegt: Auf dieser Hardware hat der Entwickler des Open-Source-Projekts Colibri das chinesische Modell GLM 5.2 des Anbieters Zhipu zum Laufen gebracht.
Das Wichtigste in Kürze
- 744 Milliarden Parameter, aber nur rund 40 Milliarden werden pro Token aktiv: Erst der sparsame Aufbau macht das Modell tragbar.
- Nur 9,9 Gigabyte bleiben im Arbeitsspeicher, die restlichen rund 370 Gigabyte streamt Colibri von einer NVMe-SSD nach.
- Der Preis der Sparsamkeit ist Tempo: etwa ein Token pro Sekunde, gedacht für Stapelverarbeitung statt für den Live-Chat.
- Für den Mittelstand zählt vor allem die Datensouveränität, denn sensible Inhalte verlassen das eigene Haus nicht.
Wie passt ein 744-Milliarden-Modell in 25 Gigabyte RAM?
Der Trick steckt in der Bauweise des Modells. Sparsame Aktivierung: Ein Mixture-of-Experts-Modell schaltet pro Token nur einen Bruchteil seiner Bausteine ein. Laut der Projektdokumentation von Colibri nutzt GLM 5.2 nur rund 40 der 744 Milliarden Parameter je Token, und davon wechseln nur etwa 11 Gigabyte von einem Token zum nächsten.[1]
Colibri hält deshalb nur den dichten Kern dauerhaft im Speicher, als int4-Quantisierung gerade einmal 9,9 Gigabyte groß. Experten auf Abruf: Die über 21.000 Experten liegen als rund 370 Gigabyte auf einer schnellen SSD und werden erst geladen, wenn der Router sie anfordert.
Herausgekommen ist eine schlanke C-Software von rund 2.400 Zeilen ohne Laufzeitabhängigkeiten. Dass sich selbst ein winziges Modell lohnen kann, hat drweb bereits gezeigt; hier läuft nun das andere Extrem auf bescheidener Hardware. Die Grundlagen für den Nachbau liefert unser Leitfaden zum Betrieb eigener KI-Hardware.
Warum die schnelle Grafikkarte hier verliert
Der eigentliche Engpass ist nicht Rechenleistung, sondern Speicher. Kapazität schlägt Tempo: Eine RTX 5090 endet bei 32 Gigabyte fest verbautem Videospeicher. Ein 70-Milliarden-Modell in 4-Bit braucht rund 40 Gigabyte und passt dort nicht hinein, während ein Mini-PC mit 128 Gigabyte geteiltem Speicher es mühelos lädt.
Beim Tempo kehrt sich das Verhältnis um. Bandbreiten-Gefälle: Eine technische Analyse rechnet vor, dass die Ausgabegeschwindigkeit fast nur an der Speicherbandbreite hängt.[2] Ein kompaktes AMD-System kommt auf etwa 256 Gigabyte pro Sekunde, eine RTX 4090 auf gut das Vierfache. Entsprechend liefern die kleinen Systeme bei dichten Modellen nur wenige Token pro Sekunde.
Colibri ist kein Einzelfall. In der Diskussion auf Hacker News wird berichtet, dass Salvatore Sanfilippo, der Erfinder von Redis, in seinem Experiment dwarfstar denselben SSD-Ansatz für GLM 5.2 eingebaut hat und auf einem Mac mit 128 Gigabyte Speicher gerade noch brauchbare Geschwindigkeiten erreicht.
Kapazität: geteilter Speicher
128 Gigabyte Unified Memory fassen Modelle, an denen 32 Gigabyte fester Grafikspeicher scheitern.
Tempo: Bandbreite
Rund 256 Gigabyte pro Sekunde beim Mini-PC gegen gut 1.000 bei einer RTX 4090.
Nicht jede Firma braucht das schnellste Modell. Viele brauchen nur eines, das ihre Daten nicht aus dem Haus lässt, und genau das wird jetzt bezahlbar.
— Markus Seyfferth, Chefredakteur Dr. Web
Was heißt das für den Mittelstand?
Der praktische Wert liegt nicht im Tempo, sondern in der Kontrolle. Datensouveränität: Ein lokaler Aufbau hält Kundendaten und Verträge vollständig im eigenen Haus, ohne Umweg über einen US-Anbieter, und entschärft heikle Fragen nach DSGVO und Auftragsverarbeitung. Die Debatte um abschaltbare Open-Source-KI bekommt damit eine handfeste Seite.
Geduld nötig: Bei rund einem Token pro Sekunde und spürbarer Wartezeit vor der ersten Antwort taugt der Aufbau für nächtliche Stapelaufgaben, nicht für den Assistenten am Empfang. Für interaktive Fälle bleibt die Cloud vorerst schneller, auch wenn Unternehmen dort inzwischen hart an den KI-Kosten sparen.
Erst messen: Sinnvoll ist ein Testlauf auf vorhandener Hardware, bevor teure Beschleuniger angeschafft werden. Die Frage lautet nicht, ob ein Spitzenmodell lokal läuft, sondern ob sein Tempo zur konkreten Aufgabe passt.
Quellen
[1] Colibri (JustVugg): Projektdokumentation zu Colibri und GLM 5.2 ↩
[2] Vetted Consumer: „Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can’t“ ↩
