Ein 26 Milliarden Parameter großes KI-Modell läuft auf einem Server-Prozessor aus dem Jahr 2013, ganz ohne Grafikkarte. Rund fünf Tokens pro Sekunde sind kein Tempo für den Chat, aber genug für Stapelverarbeitung und als Notnagel, sobald die Cloud streikt. Für Mittelständler mit Datenschutzsorgen steckt darin mehr, als die zähe Geschwindigkeit vermuten lässt.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügenGemma 4 26B, Googles offenes Sprachmodell, arbeitet auf einem dreizehn Jahre alten Xeon mit rund 5,2 Tokens pro Sekunde, komplett ohne Grafikkarte. Neomind Labs hat dafür keine neue Hardware gekauft, sondern einen ausrangierten Zwei-Sockel-Server reaktiviert. Spannend ist nicht der Rekord, sondern die Frage dahinter.
Das Wichtigste in Kürze
- Gemma 4 26B läuft auf einem Xeon E5-2690 v2 von 2013 mit rund 5,2 Tokens pro Sekunde, ohne GPU.
- Möglich macht das die Mixture-of-Experts-Bauweise: Von 26 Milliarden Parametern rechnen pro Token nur rund vier Milliarden aktiv mit.
- Für flüssigen Chat ist das zu langsam, für Stapelverarbeitung und als Cloud-Notnagel reicht die Leistung.
- Der eigentliche Gewinn liegt im Datenschutz, weil die Daten den eigenen Serverraum nicht verlassen.
Warum läuft ein 26B-Modell ohne Grafikkarte?
Der Trick steckt im Kürzel A4B hinter dem Modellnamen. Zwar umfasst das Modell 26 Milliarden Parameter, doch pro Token rechnet nur ein Bruchteil davon mit, rund vier Milliarden aktive Parameter.
Bei der Texterzeugung bremst nicht die Rechenleistung, sondern die Speicherbandbreite. Der Prozessor liest für jedes Token die aktiven Gewichte aus dem Arbeitsspeicher. Weil nur vier Milliarden Parameter anfallen, hält selbst der langsame DDR3-Speicher gerade noch mit.
Ohne Kniff funktionierte das nicht. In der genutzten Software ik_llama.cpp fehlte für Prozessoren ohne den AVX2-Befehlssatz die Rechenroutine für zwei MoE-Operationen. Rund 240 Tensoren pro Durchlauf sind unberechnet geblieben, das Modell hat flüssig klingenden Kauderwelsch in mehreren Sprachen ausgegeben. Erst ein nachgereichter Patch hat den Fehler behoben.[1]
Die eigentliche Nachricht ist nicht der alte Xeon, sondern die Architektur dahinter: Sobald pro Token nur ein Bruchteil des Modells rechnet, wird lokale KI für den Mittelstand eine Frage des Willens, nicht des Budgets.
— Markus Seyfferth, Chefredakteur Dr. Web
Was bringt lokale KI dem Mittelstand wirklich?
Auf dem Papier klingt Eigenbetrieb teuer. Bei rund fünf Tokens pro Sekunde und geschätzt 500 Watt läge der Stromverbrauch pro Antwort deutlich über dem eines Cloud-Rechenzentrums. Rein an der Stromrechnung gemessen, lohnt sich der alte Server nicht.
Der Rechenweg greift trotzdem zu kurz. Nicht jede Aufgabe braucht Tempo. Für die nächtliche Auswertung von Verträgen oder das Zusammenfassen interner Dokumente zählt Geschwindigkeit ohnehin wenig.
Entscheidend ist der Datenschutz. Ein Modell im eigenen Serverraum verarbeitet Mandantendaten und Personalakten, ohne dass ein Byte das Haus verlässt. Unter der DSGVO erspart das die Prüfung von Auftragsverarbeitung und Drittlandtransfer gleich mit. Dass viele Anfragen ohnehin kein Spitzenmodell brauchen, verschiebt die Rechnung weiter zugunsten der eigenen Hardware.
Einzelfall oder Muster?
Der alte Xeon steht nicht allein. Dieselbe Mixture-of-Experts-Logik treibt eine ganze Welle von Versuchen, große Modelle auf kleine Hardware zu holen. Ein Modell der 27B-Klasse läuft inzwischen auf dem Smartphone, Qwen 3.5 mit 122 Milliarden Parametern wurde per Bugfix auf dem Mac Studio alltagstauglich, ein verteilter Ansatz spannt mehrere eigene Rechner zusammen, und offene Modelle aus dem DACH-Raum ziehen nach.
Die Entwicklung offener KI-Modelle zeigt ein klares Muster: Nicht die größte Rechenzentrums-GPU entscheidet über brauchbare KI, sondern die Bereitschaft, ein Modell genau genug zu kennen, um vorhandene Hardware auszureizen.
Für Unternehmen heißt das: Bevor das nächste KI-Budget in Cloud-Abos fließt, lohnt ein Blick in den eigenen Serverschrank. Ein ausrangierter Server mit viel Arbeitsspeicher taugt nicht als Chatbot, aber als datenschutzfreundlicher Nachtarbeiter für alles, was ohne Eile laufen darf.
Quelle
[1] Neomind Labs: „Running Gemma 4 26B at 5 tokens/sec on a 13-year-old Xeon with no GPU“ ↩
Mehr Newshunger?
- Bonsai 27B: Ein Modell der 27B-Klasse, das auf dem Smartphone läuft
- Drei Bugs behoben: So wird Qwen 3.5 122B auf dem Mac Studio alltagstauglich
- Mesh LLM: Wie ein großes KI-Modell über mehrere eigene Rechner verteilt läuft
- 70 % der KI-Anfragen brauchen kein Spitzenmodell
- Was kann Soofi S? Deutschlands offenes KI-Modell im Check
