Teurer HBM-Speicher ist bei der KI-Inferenz zum Nadelöhr geworden. Huawei baut daran vorbei und lagert den wachsenden KV-Cache großer Sprachmodelle von den knappen HBM-Stapeln auf schnelle Flash-Pools aus. Für Europas Rechenzentren steht dahinter die Frage, wie sich die Kosten der KI-Antwort senken lassen, ohne noch mehr HBM zu kaufen.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Die KI-Inferenz braucht enorm viel Speicher, am teuersten am High-Bandwidth-Memory direkt auf dem Beschleuniger. Genau an diesem HBM baut Huawei mit einer eigenen Speicherschicht vorbei, statt den Engpass mit noch mehr teuren Stapeln zu erkaufen, wie das Tech-Portal InfoQ beschreibt.[1]
Das Wichtigste in Kürze
- Der KV-Cache großer Sprachmodelle sprengt bei langen Kontexten und Agenten die knappe HBM-Kapazität am Beschleuniger.
- Huaweis Unified Cache Manager und die neue Schicht Context Memory Storage halten diesen Cache in schnellen SSD-Pools bis in den Petabyte-Bereich vor.
- Huawei beziffert den Gewinn beim ersten Token auf bis zu 90 Prozent kürzere Wartezeit; geprüft sind die Werte nicht.
- Europa kauft HBM und Nvidia-Beschleuniger im Ausland ein und spürt jeden Preissprung beim Speicher.
Warum ist teurer HBM der Flaschenhals der KI-Inferenz?
Jedes Token, das ein Sprachmodell erzeugt, hinterlässt einen Eintrag im KV-Cache. Bei langen Kontexten, Gesprächen über viele Runden und Agenten wächst dieser Zwischenspeicher schneller, als der teure HBM am Beschleuniger ihn fassen kann. Läuft der Cache über, steigen Wartezeit und Kosten.
HBM stapelt Speicher direkt auf dem Chip und liefert die nötige Bandbreite beim Rechnen. Kapazität kostet dort ein Vielfaches gewöhnlicher Serverspeicher und bleibt knapp. Fällt ein Token aus dem Cache, muss der Beschleuniger den Eintrag neu berechnen.
Für chinesische Rechenzentren kommt eine politische Hürde dazu. Seit dem 31. Dezember 2024 greift eine Exportsperre: SK Hynix, Samsung und Micron dürfen modernsten HBM nicht mehr nach China liefern. Diese drei Hersteller teilen den Weltmarkt praktisch unter sich auf, chinesische Betreiber bekommen den schnellsten Speicher also gar nicht erst.
Wie macht Huawei den Speicher zum Umweg um HBM?
Huawei schiebt den KV-Cache aus dem HBM in eine tiefere, günstigere Ebene. Der Unified Cache Manager und die neue Schicht Context Memory Storage halten ihn in schnellen SSD-Pools bis in den Petabyte-Bereich vor. Bei wiederkehrenden Anfragen entfällt die Neuberechnung, weil die Rechenschritte schon im Cache liegen.
Der Ansatz reiht sich in Huaweis Angriff auf die eigene Chip-Abhängigkeit ein. Wo Cambricon eigene KI-Beschleuniger gegen den Nvidia-Bann setzt und ZTE 5G-Technik gegen KI-Rechenzentren tauscht, ersetzt Huawei knappen HBM durch billigen Flash und geschickte Verwaltung. Die Exportkontrolle für KI-Chips zwingt zu solchen Umwegen.
Die Zahlen liefert Huawei selbst. Beim Kontextgedächtnis nennt der Konzern für den ersten Token bis zu 90 Prozent kürzere Wartezeit und für lange Sequenzen einen mehrfach höheren Token-Durchsatz.[2] Nachprüfen lassen sich die Benchmarks von außen nicht. Die Schicht arbeitet zudem mit fremden Beschleunigern zusammen, bis hin zu Nvidia-Systemen. Schon mit MindMemOS gab Huawei den Agenten ein längeres Gedächtnis.
Peking hat Huawei den schnellsten Speicher verwehrt, also baut der Konzern die Not zur Architektur um: schneller Flash und geschickte Verwaltung ersetzen einen Teil des teuren HBM. Diesen Hebel können auch europäische Rechenzentren ziehen, ganz ohne Sanktionsdruck.
— Markus Seyfferth, Chefredakteur Dr. Web
Die Speicherhierarchie der Inferenz
Was bedeutet der HBM-Umweg für Europa?
Europa fertigt keinen eigenen HBM und bezieht ihn wie die Nvidia-Beschleuniger aus Asien und den USA. Jeder Preissprung beim Speicher trifft darum auch deutsche KI-Rechenzentren. Ein Cache-Umweg über Flash senkt die Abhängigkeit vom teuersten Bauteil.
Der Ansatz ist keine rein chinesische Notlösung. Auch Nvidia und der Flash-Spezialist Solidigm arbeiten an genau dieser Auslagerung des Kontextspeichers auf SSD, weil die Rechnung mit jedem längeren Kontext teurer wird. Für die europäische KI-Infrastruktur zählt derselbe Hebel: mehr Token je Euro statt mehr HBM je Rack.
Der EU Chips Act zielt auf die Logik-Fertigung, nicht auf Speicher. Beim HBM bleibt Europa damit ohne Hebel. Betreiber großer KI-Dienste sollten die Speicherhierarchie prüfen und den KV-Cache über Flash entlasten, bevor der nächste HBM-Engpass die Inferenzkosten treibt. Wie eng die Lieferkette sitzt, zeigt der Umstand, dass selbst Samsung und SK Hynix chinesische Chip-Anlagen testen.
Quellen
[1] InfoQ China: „AI-Inferenz im großen Maßstab: Warum Huawei die Rolle des Speichers neu bestimmt“
[2] Huawei: „Huawei Releases the Full-Stack Data Infrastructure Solution of AI Data Centers“
Mehr Newshunger?
- Cambricon verdoppelt den Umsatz: Chinas Antwort auf den Nvidia-Bann
- Moore Threads: Umsatz mehr als verdoppelt, Hongkong-Börsengang folgt
- Biren Technology: 2,1 Milliarden Euro Verlust, fast alles nur auf dem Papier
- KI-Gedächtnis von Huawei: MindMemOS soll das Vergessen der Agenten beenden
- KI-Chip-Exportkontrolle: Chinas Firmen mieten legal, was sie nicht kaufen dürfen
- ZTE tauscht 5G gegen KI-Rechenzentren: Chinas Ausweg aus dem West-Bann
