Die Inferenzkosten für Kimi K3 hängen an der Speicherkapazität je Knoten. Mit 2,8 Billionen Parametern belegt das Modell über 1,5 Terabyte, bevor der erste Token im Cache liegt. Der Serving-Anbieter Wafer holt aus AMDs MI355X je Euro Stundenmiete rund 55 Token pro Sekunde, aus Nvidias B300 nur 38.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Über 1,5 Terabyte Videospeicher belegt Kimi K3 allein mit seinen Gewichten, und genau dort beginnen die Inferenzkosten.[1] Acht Nvidia-B200 mit je 192 Gigabyte bringen zusammen genau so viel auf und reichen damit nicht, sobald der Cache für eine Million Token dazukommt.
Das Wichtigste in Kürze
- Kimi K3 belegt mit 2,8 Billionen Parametern über 1,5 Terabyte Speicher, mehr als ein B200-Knoten fasst.
- MI355X und B300 tragen je 288 Gigabyte HBM3E, kosten in der Stundenmiete aber 2,18 € gegen 5,22 €.
- Auf den Rohwerten führt Nvidia mit 1.568 gegen 952 Token je Knoten; zwei ROCm-Fehler kosteten AMD zusätzlich Entwicklungszeit.
Warum entscheidet die Speicherkapazität über die Inferenzkosten?
Wafer verteilte Kimi K3 deshalb auf zwei B200-Knoten mit zusammen 16 Beschleunigern.[1] Der Decode-Pfad zahlt dafür eine knotenübergreifende All-Reduce-Operation über RoCE v2 mit rund 195 Gbit/s. Unter dem Strich bleiben 498 Token pro Sekunde für 16 Karten, also 31 je Karte. Die Topologie kostet mehr Leistung, als der Chip liefern könnte.
Auf acht MI355X mit je 288 Gigabyte HBM3E bleibt der gesamte Verkehr innerhalb des Knotens.[2] Dieselbe Messreihe erreicht dort 952 Token pro Sekunde und 119 je Karte, fast das Vierfache der B200-Aufstellung. Moonshot AI hatte im Juli das bislang größte offene KI-Modell vorgestellt, und erst diese Größe macht die Speicherkapazität zur entscheidenden Kennzahl.[3]
Wo liegt Nvidia trotzdem vorn?
Auf jeder Rohkennzahl gewinnt der B300: 1.568 gegen 952 Token pro Sekunde je Knoten, 196 gegen 119 je Karte, 172 gegen 118 im Einzelstrom.[1] Den Kostenvorteil holt AMD allein über den Mietpreis, 2,18 € gegen 5,22 € je GPU-Stunde auf dem Marktplatz gpus.io. Die Kennzahl beschreibt damit den Mietmarkt, nicht das Silizium.
Den Rabatt bezahlt Wafer an anderer Stelle. Ein kalter Prefill über 172.000 Token brauchte auf dem MI355X rund 51 Sekunden, auf dem B300 rund 23.[1] Erst nachdem die Entwickler die Attention-Köpfe je Rang von 12 auf 16 aufgefüllt und damit den schnellen AITER-Kernel geladen hatten, stieg der Durchsatz auf rund 13.000 Token pro Sekunde. Ein zweiter Fehler im ROCm-Zweig von sglang hatte davor den Scheduler abgeschossen. Der Preisabstand misst also die Reife der Software.
Bei identischem Speicher misst der Mietpreis vor allem die Reife der Software. Diese Rechnung geht so lange auf, wie eigene Entwickler die fehlenden Kernel nachliefern.
— Michael Dobler, Herausgeber Dr. Web
Den Rohdurchsatz gewinnt Nvidia
Je Knoten liefert der B300 1.568 Token pro Sekunde, der MI355X 952. Beim Kaltstart über 172.000 Token brauchte AMD zunächst 51 Sekunden gegen 23. Den Kostenvorsprung trägt allein der Mietpreis.
Was heißt das für Teams im DACH-Raum?
Für Firmen, die Inferenz in der Cloud mieten, ändert der Befund die Reihenfolge der Prüfschritte. Zuerst zählt die Knotenkapazität: Passen Gewichte und Cache auf einen Knoten, oder verteilt der Betrieb das Modell über das Netz? Unterhalb einer Billion Parameter spielt der Unterschied kaum eine Rolle, wie Wafers Messung an GLM5.2 Anfang Juli zeigte.
Danach zählt die Zeit bis zum ersten Token, und genau die verschweigt jede Angabe in Token pro Sekunde. Der Druck auf Nvidias Ökosystem wächst ohnehin von mehreren Seiten: AMD liefert Anthropic bis zu zwei Gigawatt Rechenleistung, und Qualcomm kaufte Modular für KI-Software ohne Nvidia-Bindung. Wie viel Rechenkapazität hierzulande bereitsteht, zeigen die zehn größten Rechenzentren Deutschlands.
Fragen Sie Ihren Anbieter vor der nächsten Buchung gerne nach zwei Zahlen: Speicher je Knoten und gemessene Zeit bis zum ersten Token bei Ihrer Kontextlänge. Für einen AMD-Knoten planen Sie zusätzlich Entwicklerzeit ein. Weitere Meldungen zur KI-Infrastruktur sammeln wir fortlaufend.
Quellen
[1] Wafer: „Is memory the moat?“
[2] AMD: Instinct MI355X, technische Daten
[3] Moonshot AI: Kimi K3
Mehr Newshunger?
- Kimi K3 im Cyber-Test: Chinas offene KI bleibt hinter den US-Modellen zurück
- Moonshot AI ist jetzt 30,8 Milliarden Euro wert: 3 Milliarden für Chinas Kimi-Macher
- DeepSeek-V4-Flash: Chinas Coding-Agent tritt gegen Codex an
- Drei neue Azure-Maschinen, zwei davon ohne GPU: Microsofts AMD-Ausbau
- 88 Kerne für KI-Agenten: Nvidias Vera-CPU nimmt Intel und AMD ins Visier
- CXL 3.2: Montage Technology erprobt den ersten Speichercontroller für KI-Server
