Beim Rechnen großer Sprachmodelle wird der Speicher zum Nadelöhr, nicht der Prozessor. Samsung setzt deshalb kleine Recheneinheiten direkt in seinen LPDDR5X-Chip und meldet für Metas Llama 3.1 8B gut die dreifache Token-Rate. Der eigentliche Gegner heißt HBM, das teuerste Bauteil in jedem KI-Beschleuniger.
drweb.de als bevorzugte Quelle auf Google hinzufügenQualitätsgeprüfte Inhalte direkt in Google News & DiscoverJetzt hinzufügen
Auf der Hot-Chips-Konferenz in Stanford stellte Samsung Ende August 2026 einen Arbeitsspeicher vor, der selbst rechnet: LPDDR5X-PIM. Bei Metas Llama 3.1 8B liefert der Baustein 81,3 statt 27 Token pro Sekunde. Hinter dieser Zahl steckt eine jahrzehntealte Wette der Chipbranche, die durch den KI-Boom plötzlich aufgeht.
Das Wichtigste in Kürze
- Samsung integriert Recheneinheiten direkt in LPDDR5X-DRAM (Processing-in-Memory) und umgeht so den Flaschenhals zwischen Speicher und Prozessor.
- Intern erreicht der Chip 614 GB/s, achtmal so viel wie die 76,8 GB/s der herkömmlichen Schnittstelle; die Token-Rate steigt bei Llama 3.1 8B um das Dreifache.
- Der Baustein nutzt dasselbe 561-Ball-Gehäuse wie Standard-LPDDR5X und lässt sich ohne Systemumbau tauschen.
- Zielmarkt ist die günstige Edge-Inferenz als Gegenentwurf zum teuren HBM-Speicher, der inzwischen 63 % der KI-Chip-Kosten ausmacht.
Warum bremst der Speicher und nicht der Prozessor?
Bei der Textausgabe eines Sprachmodells liest der Chip für jedes neue Token die kompletten Gewichte aus dem Speicher, während die Recheneinheit überwiegend wartet. Nicht die Rechenleistung limitiert die Inferenz, sondern die Speicherbandbreite. Genau an diesem Von-Neumann-Flaschenhals setzt Processing-in-Memory an.
PIM verlegt einfache Multiplizierer direkt neben die DRAM-Bänke. So müssen die Daten nicht mehr über den schmalen externen Bus zum Prozessor wandern. Intern erreicht Samsungs Baustein 614 GB/s, achtmal so viel wie die 76,8 GB/s der herkömmlichen Speicherschnittstelle.[1]
Was leistet LPDDR5X-PIM konkret?
Der 16-Gigabyte-Chip steckt im gleichen 561-Ball-Gehäuse wie Standard-LPDDR5X und lässt sich ohne Systemumbau tauschen. In Samsungs Test mit Llama 3.1 8B lief die Inferenz 2,28-mal schneller, die Token-Rate stieg um das 3,01-Fache. Pro Baustein nennt Samsung rund 1,2 TFLOPs in FP8 und bis zu 2,4 TOPS bei SINT4-Gewichten.
Kaufen lässt sich der Chip noch nicht. Samsung stellt Simulator, Datenblatt und ein Software-Kit auf Anfrage bereit und treibt parallel die JEDEC-Norm für ein LPDDR6-PIM voran. Der nächste Speicherstandard LPDDR6 ist ohnehin in Bewegung, seit CXMT als erster Hersteller einen LPDDR6-Chip ausliefert.
Was heißt das für Anbieter im DACH-Raum?
Für europäische Unternehmen zählt vor allem der Preis: Speicher macht inzwischen 63 % der Kosten eines KI-Beschleunigers aus, gegenüber 52 % Anfang 2024.[1] Die Speicherknappheit treibt auch die Preise für Nvidias KI-Server nach oben. Ein günstigerer Weg zur Inferenz senkt die Rechnung für lokale KI unmittelbar.
Die Idee ist nicht neu. Forscher verfolgen Processing-in-Memory seit den 1990er-Jahren, und Samsung zeigte schon 2021 eine HBM-Variante. Neu ist der wirtschaftliche Druck: Weil HBM den Löwenanteil der KI-Kosten verschlingt und nur drei Hersteller HBM fertigen, lohnt sich plötzlich das Rechnen im billigen Mobilspeicher. Denselben Effizienzdruck zeigt der Inferenz-Chip Jalapeño von OpenAI, der mehr Token je Kilowatt herausholt.
Der teuerste Teil eines KI-Beschleunigers ist längst der Speicher, nicht der Rechenkern. Samsung senkt genau diese Rechnung und macht lokale Inferenz für den Mittelstand damit erst bezahlbar.
— Markus Seyfferth, Chefredakteur Dr. Web
In der Praxis bleibt PIM vorerst ein Nischenwerkzeug. Der Chip beschleunigt die speicherlastige Textausgabe, nicht das Training, und verlangt angepasste Software. Betreiber lokaler KI, etwa auf einem Mac mini mit M6-Chip, sollten die kommende LPDDR6-PIM-Norm im Blick behalten, weil sie datensparsame Inferenz näher an den Arbeitsplatz bringt.
Für lokale Inferenz benennen Sie am besten zuerst die datensensiblen und latenzkritischen Anwendungen, bei denen die Cloud ohnehin ausscheidet, und beobachten die kommende LPDDR6-PIM-Norm. Die Verlagerung des Rechnens in den Speicher ist einer der stilleren, aber folgenreichen Trends der KI-Hardware.
Quelle
[1] Samsung Semiconductor: „LPDDR5X“ (Herstellerangaben; LPDDR5X-PIM vorgestellt auf der Hot-Chips-Konferenz 2026).
Mehr Newshunger?
- Biren: Chinas KI-GPU-Bauer verzwanzigfacht den Umsatz, weil Nvidia fehlt
- CXMT bringt Chinas ersten LPDDR6-Speicher, Xiaomi verbaut ihn zuerst
- Inferenz-Chip Jalapeño: OpenAI misst je Kilowatt bis zu 1,9-mal mehr Token als Nvidias GB300
- Nvidias KI-Server werden laut Bloomberg mehr als 15 Prozent teurer
- Mac mini mit M6: Apple bringt die lokale KI auf den Desktop
- Prefill-as-a-Service: Moore Threads senkt die Kosten langer KI-Kontexte
