Spitzen-KI-Modelle lassen sich heute komplett auf eigener Hardware betreiben, ganz ohne Cloud und ohne US-Anbieter. Ein viel beachteter Praxisleitfaden zeigt, welche Rechner dafür nötig sind. Die eigentliche Frage für den Mittelstand ist aber nicht das Wie, sondern das Ob.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
KI-Modelle lokal zu betreiben klingt nach voller Datenhoheit und Unabhängigkeit von steigenden Cloud-Preisen. Ein aktueller Leitfaden auf GitHub rechnet vor, wie sich das auf eigener Hardware umsetzen lässt und was es kostet. Zwischen Einsteiger-Rig und Profi-Cluster liegen dabei Welten.
Das Wichtigste in Kürze
- Ein Einsteiger-System mit zwei gebrauchten Grafikkarten startet bei rund 1.740 €.
- Für ein Modell nahe der Cloud-Spitze fallen rund 45.000 € an, allein für die Hardware.
- Starke Komprimierung senkt die Kosten, kostet aber messbar Qualität bei langen Aufgaben.
- Lokal rechnet sich vor allem dort, wo keine Daten das Haus verlassen dürfen.
Was braucht ein lokales KI-Rig?
Ein brauchbarer Einstieg gelingt mit zwei gebrauchten RTX-3090-Karten und 48 GB Videospeicher für rund 1.740 €. Für ein Modell auf Cloud-Niveau braucht es vier Profi-Grafikkarten, 384 GB Videospeicher und rund 45.000 €.
Der anonyme Autor des Leitfadens[1] beschreibt zwei Ausbaustufen. Das kleine System stemmt ein 27-Milliarden-Parameter-Modell wie Qwen, das große ein komprimiertes 594-Milliarden-Modell wie GLM 5.2, das nach seiner Einschätzung fast an die Spitzenmodelle heranreicht.
Der eigentliche Engpass ist der Videospeicher, nicht die reine Rechenleistung. Als Software setzt der Leitfaden auf vLLM in Docker-Containern, das große Setup schafft rund 80 Token pro Sekunde bei sehr langem Kontext.
Was kostet Datensouveränität wirklich?
Die Hardware ist nur der Anfang. In der Fachdiskussion landen reale Aufbauten eher bei 50.000 bis 55.000 US-Dollar, und starke Komprimierung drückt die Antwortqualität. Gemessen an Cloud-Preisen amortisiert sich ein solches System oft erst nach vielen Jahren.
In der Diskussion zum Leitfaden wird eingewandt, dass die 40.000-Dollar-Marke geschönt ist und echte Systeme eher bei 50.000 bis 55.000 US-Dollar liegen. Der Break-even verschiebt sich damit weit nach hinten, denn gegen ein Cloud-Abo für rund 174 € im Monat müsste ein Betrieb das große Rig laut den Kommentaren zwischen 16 und 74 Jahre auslasten.
Dazu kommt ein Qualitätsproblem. Das große Modell läuft nur in stark komprimierter Form, bei der rund 22 Prozent der Experten-Bausteine entfernt sind. Fehler summieren sich dann bei langen, mehrstufigen Aufgaben, während kurze Anfragen unauffällig bleiben.
Was ein aktueller Praxisleitfaden für Hardware, Leistung und Kosten nennt.
Die spannende Frage ist nicht, ob ein Mittelständler ein KI-Rig zusammenbauen kann, sondern ob er es sollte. Für die meisten schlägt eine europäische Cloud die Bastellösung im Keller bei Kosten und Wartung deutlich.
— Markus Seyfferth, Chefredakteur Dr. Web
Wann lohnt sich lokal für den Mittelstand?
Lokale Hardware zahlt sich vor allem dort aus, wo aus rechtlichen Gründen keine Daten das Haus verlassen dürfen, etwa bei Behörden, im Gesundheitswesen oder bei sensiblen Mandantendaten. Für alle anderen sind eine EU-Cloud oder Colocation meist günstiger.
Unter DSGVO und EU AI Act ist der Ort der Verarbeitung ein handfestes Kriterium. Läuft das Modell auf eigener Hardware, entfallen Drittlandtransfers vollständig, und die Datenhoheit bleibt zu 100 % im Haus.
Für die meisten Betriebe ist der eigene Server im Keller aber überdimensioniert. Ein gemieteter GPU-Server in einem deutschen Rechenzentrum liefert dieselbe Kontrolle ohne Kapitalbindung, und offene Modelle wie Qwen oder Gemma decken viele Alltagsaufgaben bereits ab. Sinnvoll ist deshalb, erst den Schutzbedarf der Daten zu klären und dann die Hardwarefrage zu stellen.
Quelle
[1] jamesob: „local-llm: A guide to running SOTA LLMs locally“ ↩
Mehr Newshunger?
- Wie betreibt man KI-Modelle lokal auf eigener Hardware?
- Lokale KI-Modelle sind 2026 alltagstauglich geworden
- AMD Ryzen AI Halo: Lokale KI im Mittelstand?
- Eigener GPU Server statt Cloud: Wann lohnt sich Colocation?
- Qwen: Was Alibabas KI für Ihr Unternehmen kann
- Open-Source-KI gegen US-Sperre: die Antwort? Ja.
