Mesh LLM: Große KI-Modelle auf mehreren Rechnern?

Mesh LLM: Wie ein großes KI-Modell über mehrere eigene Rechner verteilt läuft

Michael Dobler

Autor Dr. Web

12. Juli 2026

4 Min. Lesezeit

Ein KI-Modell mit 235 Milliarden Parametern passt auf keinen gewöhnlichen Bürorechner. Mesh LLM verteilt es einfach auf mehrere Maschinen, die im Unternehmen ohnehin herumstehen, und macht daraus einen einzigen KI-Server. Wir zeigen, warum dafür sogar normales Ethernet genügt.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Mesh LLM bündelt die Grafikkarten und den Arbeitsspeicher mehrerer Rechner zu einem gemeinsamen KI-System. Zwei ältere Mac Studios, per Netzwerkkabel verbunden, erreichen in einem Heimlab-Test rund 16 Token pro Sekunde an einem 235-Milliarden-Modell. Die eigentliche Frage für Entscheider ist nicht, ob das schnell ist, sondern ob damit teure KI-Cloud-Abos überflüssig werden.

Das Wichtigste in Kürze

Mesh LLM stammt von n0, dem Team hinter der Netzwerkbibliothek iroh, und ist quelloffen.
Mehrere Rechner erscheinen nach außen als ein einziger Server mit OpenAI-kompatibler Schnittstelle.
Der Katalog reicht von 0,5-Milliarden-Modellen für den Laptop bis zu 235-Milliarden-Kolossen.
Für die verteilte Rechenarbeit genügt gewöhnliches Gigabit-Ethernet, kein teures Rechenzentrums-Fabric.

Wie wird aus mehreren Rechnern ein KI-Server?

Gehirn-Modell mit Brille auf fünf Hockern, mittiger Zettel mit Aufschrift „235 Mrd.“, weiß — Mesh LLM verbindet mehrere Geräte zu einem Pool und verteilt Anfragen auf freie Hardware über eine OpenAI-kompatible Schnittstelle

Ein Pool statt Einzelkämpfer. Hinter Mesh LLM steht das Team n0, bekannt für die Netzwerkbibliothek iroh^[1]. Die Software verbindet Laptop, Mini-PC, Workstation und Server zu einem Verbund und schickt jede Anfrage auf freie Hardware oder dorthin, wo das Modell schon läuft. Nach außen antwortet alles über eine einzige OpenAI-kompatible Schnittstelle unter Port 9337.

Modell in Scheiben. Passt ein Modell auf keine einzelne Maschine, zerlegt die Engine namens Skippy es in Schichtpakete: Schichten 0 bis 15 auf dem ersten Knoten, 16 bis 31 auf dem nächsten, und so weiter die Pipeline hinab. Jeder Knoten hält nur seinen Teil der Gewichte im Speicher und reicht das Zwischenergebnis weiter.

Warum genügt dafür ein normales Netzwerk?

Nur Zwischenergebnisse wandern. Der verbreitete Einwand lautet, ein Firmennetz sei viel zu langsam gegenüber lokalem Arbeitsspeicher. Das trifft die Bauart aber nicht: Zwischen den Schichtpaketen wandert nur der schmale Aktivierungsvektor einer Anfrage, nicht die gigabytegroßen Gewichtsmatrizen. Die bleiben fest auf ihrem Knoten.

Pipeline statt Gleichschritt. Genau hier unterscheidet sich diese Pipeline-Parallelität von der Tensor-Parallelität im Rechenzentrum, die bei jedem Schritt große Datenmengen zwischen den Karten abgleicht und deshalb teure Spezialverbindungen braucht. Der Preis der sparsamen Variante: Die Knoten arbeiten nacheinander, die Antwortzeit einer einzelnen Anfrage sinkt nicht, und das langsamste Glied bestimmt das Tempo.

Nicht jede KI muss aus der Cloud kommen. Drei starke Rechner im Haus lassen sich zu einem Modell bündeln, das auf keinem davon allein liefe, und die Daten bleiben im Unternehmen.
— Markus Seyfferth, Chefredakteur Dr. Web

Mesh LLM in Zahlen

Große KI-Modelle verteilt über eigene Rechner

40+

Modelle im Katalog

vom Laptop-Modell bis zum 235-Mrd.-Koloss

235 Mrd.

Parameter maximal

verteilt auf mehrere Maschinen

~16

Token pro Sekunde

235-Mrd.-Modell, zwei Rechner, Heimlab-Test

~18 MB

Größe der Software

ein OpenAI-kompatibler Server unter Port 9337

So zerlegt Skippy ein zu großes Modell

Schichten 0 bis 15

Rechner A hält nur diesen Teil der Gewichte

Schichten 16 bis 31

Rechner B rechnet weiter am Zwischenergebnis

Schichten 32 und mehr

Rechner C liefert die fertige Antwort

Der Trick: Über das Netz wandert nur der schmale Aktivierungsvektor einer Anfrage, nicht die gigabytegroßen Gewichte. Deshalb reicht gewöhnliches Gigabit-Ethernet.

Was bringt das dem Mittelstand?

Kein Einzelfall. Verteilte Inferenz ist keine Erfindung von heute. Das Forschungsprojekt Petals hat schon 2022 fremde Rechner über das offene Internet zu einem Modell verbunden, das Werkzeug exo bündelt Apple-Geräte im lokalen Netz. Neu an Mesh LLM ist die Netzwerkschicht iroh, die Verbindungen quer durch Router und Firewalls aufbaut, ohne dass jemand Ports von Hand freischalten muss. Quelloffene Bausteine wie Rowboat zeigen dieselbe Richtung.

Daten bleiben im Haus. Für deutsche Unternehmen ist der eigentliche Hebel nicht das Tempo, sondern der Ort der Verarbeitung. Offene Modelle wie GLM oder Qwen auf eigener Hardware halten Kundendaten aus der US-Cloud heraus, ein Pluspunkt unter der DSGVO. Passende Hardware für lokale KI gibt es längst.

Vorsicht im offenen Verbund. Der Haken steckt im Wort Mesh: In einem Verbund über fremde Knoten sehen Zwischenstationen die durchlaufenden Anfragen, und Schutz vor manipulierten Knoten fehlt bislang. Für vertrauliche Daten gilt deshalb nur eine Regel, eigene und kontrollierte Maschinen einspannen.

Für wen sich der Blick lohnt. Wegen der aufsummierten Antwortzeiten passt Mesh LLM eher zur Stapelverarbeitung und zu asynchronen Aufgaben als zum Chat mit vielen gleichzeitigen Nutzern. Für vorhandene GPU-Arbeitsplätze, die sich bündeln statt ersetzen lassen, lohnt ein erster Test des quelloffenen Codes mit zwei Maschinen im eigenen Netz. Wie sich die Modelle einordnen, zeigt die KI-Übersicht von Dr. Web.