DeepSeek veröffentlicht seine Inferenz-Software als Open Source

Michael Dobler

Autor Dr. Web

20. Okt. 2026

3 Min. Lesezeit

155 Billionen Token am Tag verarbeitet ein einzelner DeepSeek-Cluster mit DeepInfer, der hauseigenen Inferenz-Software. Seit dem 20. Oktober darf jedes Rechenzentrum diese Software unter der Apache-Lizenz 2.0 einsetzen. Die Verwaltung des Zwischenspeichers, der wiederkehrende Anfragen billig macht, fehlt im veröffentlichten Code allerdings.

drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen

Im April 2025 hatte DeepSeek die Veröffentlichung noch abgelehnt, weil die eigene Inferenz-Software zu eng mit der internen Infrastruktur verzahnt sei.^[3] Jetzt liegt DeepInfer auf GitHub, dazu ein FAQ-Dokument, in dem das KI-Unternehmen aus Hangzhou Betriebszahlen seines Dienstes nennt.^[1]^[2]

Das Wichtigste in Kürze

DeepInfer betreibt DeepSeek V4.1 Flash auf Nvidias Rechenzentrumschips B200 und GB200 sowie auf Huaweis Ascend 950.
Nach DeepSeeks Rechnung bringt jede Karte rund 34 Euro Umsatz pro Stunde, bewertet zum günstigeren Tarif außerhalb der Stoßzeiten.
Zwischenspeicher-Verwaltung und Lastverteilung gehören nicht zum veröffentlichten Code.
Effizient arbeitet die Software erst ab 128 Beschleunigern.

Was steckt in DeepInfer?

Sortimentkasten mit Bauteilen und gesperrtem Fach mit Vorhängeschloss und Anhänger — DeepInfer verteilt KI-Inferenz auf mehrere Beschleuniger: Eingabeverarbeitung und Token-Generierung laufen parallel, ein kleines Modell schlägt Tokens vor, das große Modell validiert sie

Inferenz heißt der Betrieb eines fertig trainierten Modells, das Anfragen beantwortet. DeepInfer verteilt diese Arbeit auf viele Beschleuniger: Ein Teil der Karten liest die Eingabe ein, ein anderer erzeugt die Antwort Token für Token.^[2] Ein kleines Hilfsmodell schlägt dabei bis zu fünf Token im Voraus vor, das große Modell prüft davon nur die aussichtsreichsten.

Ursprünglich baute DeepSeek die Software auf dem quelloffenen Projekt vLLM auf.^[1] Als Hardware nennt DeepSeek Nvidias Architektur SM100, also die Chips B200 und GB200,^[4] sowie Huaweis Ascend 950. Die Ascend-Unterstützung passt zu Berichten, nach denen DeepSeek Huaweis nächste KI-Chips mitgestaltet.

Warum gibt DeepSeek die Software jetzt frei?

DeepSeek verdient nur an der eigenen Programmierschnittstelle. Die frei herunterladbaren Modellgewichte betreiben dagegen zahlreiche fremde Rechenzentren, deren Umsatz nie bei DeepSeek ankommt, wie DeepSeeks erste Geschäftszahlen zeigen. Viele dieser Anbieter betreiben das Modell zudem mit verringerter Rechengenauigkeit, die Qualität schwankt deshalb von Anbieter zu Anbieter.

Ergänzend hat DeepSeek unter der MIT-Lizenz deepseek-recipe freigegeben, eine Komponente, die Anfragen im Format gängiger KI-Schnittstellen in die Token des Modells übersetzt. Das Ziel nennt DeepSeek selbst: Installationen anderer Anbieter sollen sich genauso verhalten wie die offizielle Schnittstelle.^[2] Den Inferenz-Code künftiger Modelle will das Unternehmen ebenfalls in DeepInfer veröffentlichen.

DeepInfer in Zahlen

Betriebswerte aus DeepSeeks FAQ-Dokument und was veröffentlicht ist

155 Bio.

Token verarbeitet ein einzelner DeepSeek-Cluster am Tag

34 €

Umsatz je Karte und Stunde, bewertet zum Tarif außerhalb der Stoßzeiten (38 US-Dollar)

128

Beschleuniger umfasst die kleinste effiziente Einheit, je 64 zum Einlesen und für die Antworten

72 h

soll DeepSeeks Zwischenspeicher laut Systementwurf mindestens überdauern

Was DeepSeek veröffentlicht und was fehlt

DeepInferInferenz-Software für V4.1 Flash

LizenzApache 2.0

Statusveröffentlicht

deepseek-recipeübersetzt Anfragen in Token

LizenzMIT

Statusveröffentlicht

Zwischenspeicher-VerwaltungKV-Cache auf eigenem SSD-Cluster

Lizenzkeine

Statusfehlt

Lastverteilungzwischen den Recheneinheiten

Lizenzkeine

Statusfehlt

Was fehlt für einen eigenen Dienst?

Zwei Bausteine fehlen: die Verwaltung des Zwischenspeichers (KV-Cache) und die Lastverteilung zwischen den Recheneinheiten. Beide sind laut DeepSeek zu eng mit der internen Infrastruktur verzahnt, derselbe Grund wie 2025.^[2] Gerade der Zwischenspeicher bestimmt den Preis. DeepSeeks System ist darauf ausgelegt, ihn auf einem eigenen SSD-Cluster mindestens 72 Stunden vorzuhalten. Enthält eine Anfrage einen bereits gespeicherten Kontext, kostet eine Million Eingabe-Token außerhalb der Stoßzeiten 0,27 Cent statt 13,4 Cent, also ein Fünfzigstel.^[5]

Die Umsatzzahl taugt nicht als Gewinnbeleg. 38 US-Dollar, rund 34 Euro, nimmt DeepSeek nach eigener Rechnung je Karte und Stunde ein, bewertet zum Tarif außerhalb der Stoßzeiten, der halb so hoch liegt wie zu Spitzenzeiten.^[2] Kosten nennt das Dokument nicht. Im März 2025 hatte DeepSeek für seine damaligen Modelle eine theoretische Marge von 545 Prozent errechnet und selbst eingeräumt, dass der tatsächliche Umsatz deutlich niedriger lag.^[3]

DeepSeek gibt den Kern seines KI-Dienstes frei, den Zwischenspeicher für billige Folgeanfragen behält das Unternehmen vorerst.
Markus Seyfferth, Chefredakteur Dr. Web

Was bedeutet DeepInfer für Unternehmen?

Für den eigenen Serverraum ist DeepInfer nicht gebaut. Effizient arbeitet die Software laut DeepSeek erst mit 64 Karten zum Einlesen und 64 Karten für die Antworten.^[2] Interessant ist DeepInfer für Cloud-Anbieter, die DeepSeek-Modelle in europäischen Rechenzentren betreiben. Bei solchen Anbietern bleiben die Anfragen in der EU, ein Punkt, an dem US-Behörden und Datenschützer bei DeepSeeks eigenem Angebot ansetzen.

Anbieter befragen: Fragen Sie Ihren Cloud-Anbieter, mit welcher Software und welcher Rechengenauigkeit er DeepSeek betreibt.
Zwischenspeicher einplanen: Anwendungen mit gleichbleibenden langen Anweisungen oder Dokumenten profitieren vom günstigen Cache-Preis. Lassen Sie sich zusichern, wie lange der Anbieter den Zwischenspeicher vorhält.

Einen Termin für die fehlenden Bausteine nennt DeepSeek nicht.