Waar de RAM crisis vandaan komt
Een AI-model is een enorm bestand. Voordat u er iets mee kunt doen, moet het volledig in het werkgeheugen van de grafische kaart worden geladen. Bij elke vraag die u stelt, leest de computer het hele model opnieuw — elk gewicht, elke parameter. Stel u voor: u hebt een bibliotheek van 27 miljard boeken en voor elke vraag moet u ze allemaal doorbladeren. Dat is wat een AI doet met het geheugen van uw grafische kaart.
Dus om met een LLM te kunnen werken zonder dat uw minuten op een antwoord moet wachten worden de “weights” (bestanden van de LLM) in het VRAM van de grafische kaart ingelezen. Dat wederom betekent dat er voldoende VRAM aanwezig moet zijn op de grafische kaart. LLM modellen hebben inmiddels trillioenen omvang bereikt. Het probleem is dus tweeledig: er moet voldoende VRAM zijn en het moet snel genoeg zijn.
Voor alle duidelijkheid: voor inferentie - het gebruik van een model (chatten, “vibe” wat-dan-ook)- is het VRAM het belangrijkst. Voor training juist de rekenkracht van de GPU (grafische processor).
De oorzaak is bekend nu nog een oplossing. De techworld zal hier een goede oplossing voor moeten vinden of eigenlijk herbeleven want de mogelijke oplossingen waren er al. Ja verleden tijd want misschien kunt u zich Optane geheugen nog herinneren, dat RAM van Intel dat veel te duur maar zeldzaam goed was? Of the Memristor waar HP lang aan gewerkt heeft. Hieronder leggen wij uit hoe dat zit.
13 augustus 2026 — Intel CEO Lip-Bu Tan zei iets interessants afgelopen week. Tijdens het TechSurge: Deep Tech VC-podcast suggereerde hij dat Intel mogelijk weer in de geheugen productie zal stappen. Hij heeft Seok-Hee Lee — de voormalige CEO van SK Hynix — aangesteld als EVP van Foundry en geavanceerd packaging. Hij noemde geheugen “niet langer een commodity” (Intel speak voor: er valt nu geld mee te verdienen) en sprak over “nieuwe geheugenarchitecturen” en 3D-stacking. Codenaam: ZAM (~2029-2030) en XBM (begin jaren 2030).
De tech-press behandelde dit als een curiositeit. Het is geen curiositeit. Het is de nieuwste beweging in een vijftien jaar durende geschiedenis over een geheugenlaag die de AI-industrie dringend nodig heeft, die meerdere bedrijven hebben gebouwd en vervolgens verprutst, en die niemand op het juiste moment tegen de juiste prijs heeft kunnen leveren.
Dit is het verhaal van die memory layer — en waarom die in 2026 belangrijker is dan ooit.
Het probleem: AI-inferentie is een geheugenprobleem, geen rekenprobleem
Hier is het probleem dat niemand buiten hardware-engineering begrijpt over inferentie van grote taalmodellen: het is niet rekenintensief. Het genereren van een token vereist het lezen van alle gewichten van het model uit het geheugen, een kleine hoeveelheid wiskunde, en dan verdergaan. De bottleneck is hoe snel je bytes kunt verplaatsen van het geheugen naar de rekenunits.
Dit is de von Neumann-bottleneck, en die heeft computing beperkt sinds 1945. AI heeft het niet uitgevonden. AI heeft het onmogelijk gemaakt om het te negeren.
De geheugenhiërarchie in een modern AI-systeem ziet er als volgt uit:
| Laag | Latentie | Capaciteit | Kostprijs | Waar het zit |
| SRAM (on-chip) | ~1 ns | MB-schaal | hoogste $/bit | Binnen de processor-chip |
| HBM (on-package) | ~25 ns | GB-schaal | zeer hoog | Gestapeld naast de GPU |
| DRAM (off-chip) | ~80-90 ns | tientallen GB | matig | DIMM-slots op het moederbord |
| NVMe (PCIe) | microseconden | TB-schaal | laagste | SSD over PCIe-bus |
Het gat tussen DRAM en NVMe is enorm — drie ordes van grootte in latency, en een fundamentele verschuiving van byte-adresseerbaar random access tot blokgebaseerde I/O. Als een model in HBM past, ben je veilig. Als het niet past — en dat gebeurt steeds vaker — val je van een klif (wil zeggen het wordt onwerkbaar traag).
Dit gat is waar het verhaal zich afspeelt. Maar er waren al heel erg goed aanzetten voor een oplossing van juist die problematiek.
Optane: de technologie die Intel in het prullenmandje gegooid heeft
Intel’s Optane DC Persistent Memory, gebaseerd op 3D XPoint-technologie die samen met Micron werd ontwikkeld, vulde een laag die geen ander product succesvol heeft gevuld: byte-adresseerbaar, persistent, bijna-DRAM-snelheid en hoge capaciteit. Tot 512 GB per DIMM. ~300 ns latentie. 6,8 GB/s per stick. De data overleeft een stroomuitval.
Het was geen DRAM. Het was geen SSD. Het was iets daartussen, en dat daartussen is precies wat AI-inferentie nodig heeft.
Intel stopte Optane in 2022. De redenen waren vertrouwd: de $/GB was niet aanzienlijk beter dan DRAM op retailprijzen, het vereiste specifieke Intel-serverplatforms (alleen Cascade Lake en Ice Lake Xeon), en de 256-byte schrijfgrootte van 3D XPoint veroorzaakte schrijfversterking voor bepaalde workloads. HBM nam het hoogbandbreedte-einde over, 3D NAND nam het capaciteitseinde over, en Optane zat in een markt die, volgens Intel, nooit was ontstaan.
Vier maanden later lanceerde ChatGPT.
Wat Optane had opgelost
Twee gebruiksscenario’s, beide cruciaal voor moderne AI-infrastructuur:
KV-cache offload. Bij het serveren van lange-context LLM-sessies — 128K tokens en meer — kan de key-value-cache voor elke gelijktijdige gebruiker oplopen tot enkele gigabytes. Vermenigvuldig dat met duizenden gelijktijdige sessies en je hebt terabytes aan actieve KV-status die dicht bij de rekenkracht moet blijven. De huidige opties zijn ontoereikend: GPU-HBM is te klein, CPU-DRAM is vluchtig (een serverherstart verliest de context van elke gebruiker), en NVMe is te traag voor de toegangspatronen. Optane was de enige technologie die persistentie, snelheid en capaciteit tegelijkertijd bood. Een servercrash gevolgd door een herstart zou de gehele KV-cache intact laten — geen herberekening, geen prefill-straat, directe herstel.
Out-of-core model weight storage. Een studie van de NSF uit 2025 evalueerde Optane als een gewichtstier voor out-of-core LLM-inferentie, waarbij OPT-30B en OPT-175B werden uitgevoerd via FlexGen op een Optane + NVIDIA A100-systeem. Het bevinding: met slimme gewichtsplaatsing en kwantisering haalde Optane een doorvoersnelheid binnen 6-9% van een volledig-DRAM-systeem. De bandbreedte-kloof was reëel maar beheersbaar. Voor modellen die te groot zijn voor DRAM was Optane geen compromis — het was de enige haalbare laag.
En iemand heeft dat getest
In het vroege 2026 laadde een hobbyist op r/LocalLLaMA een trillion-parameter-mixture-of-experts-model op 768 GB aan gebruikte Intel Optane DIMMs — zes sticks van 128 GB die op eBay werden gekocht voor ongeveer $4.500 in totaal. Het systeem haalde ongeveer 4 tokens per seconde. Niet chat-grade doorvoersnelheid, maar het bewees iets dat belangrijk was: de gehele gewichtsvoetafdruk van een frontier-class-model, zittend in byte-adresseerbaar geheugen op de geheugenbus, zonder NVMe-swap en zonder netwerk-offload. (Dus zonder GPU!)
Hetzelfde model op NVMe mmap stort in. Op trillion-parameter-schaal overschrijdt het “weights” set de paginacache-RAM aanzienlijk, de kernel verwijdert actieve expertblokken sneller dan ze kunnen worden herladen, en de generatie-doorvoersnelheid daalt naar seconden-per-token. De voorsprong van Optane op die schaal is fundamenteel: byte-adresseerbare toegang op cacheline-grootte (64 bytes) in plaats van het minimum van 4 KB van NVMe. De bloklaag is de bottleneck, en Optane gaat er niet doorheen.
Helaas waren de drempels die Intel bedacht had: specifieke (zeldzame) CPU’s en prijs uiteindelijk de oorzaak van het vroegtijdige overlijden van Optane RAM.
Maar er was nog meer: de Memristor.
De memristor: HP’s visie die te groot was om uit te voeren
De parallel met Optane is HP’s “The Machine”, aangekondigd op HP Discover in 2014 met theatrale zwaarte door toenmalig CEO Meg Whitman. De visie: een compleet nieuwe computerarchitectuur gebouwd rond memristor-gebaseerd niet-vluchtig geheugen, fotonische verbindingen, een aangepast besturingssysteem en een formfactor die hele datacenterracks zou vervangen. HP wijdde 75% van HP Labs aan dit project. CTO Martin Fink zei dat ze het “binnen een paar jaar op de markt zouden brengen of: die trying.”
In 2015 werden memristors van de roadmap gehaald. Fink’s bekentenis: “We hebben dit te veel geassocieerd met de memristor.” De SK Hynix-samenwerking — de weg naar commercialisering — loste zich stilletjes op omdat Hynix geen belang had om zijn eigen DRAM-inkomsten te kanibaliseren. In 2016 was The Machine als product dood, gedegradeerd tot “componenttechnologieën zullen worden geïntegreerd in leveringsapparatuur. Uiteindelijk. Sneller. Met gekruiste vingers.” Niet dus.
De fout van HP was het kaderen van memristors als universeel non-volatile geheugen — een vervanger voor DRAM. Dat betekende concurreren met DRAM op de voorwaarden van DRAM, met de volumes van DRAM, en met de gevestigde fabrikanten die de prijsgrondslag bepaalden.
De memristor vindt zijn echte gebruiksscenario — in AI
De oorspronkelijke onderzoekers gaven niet op. Qiangfei Xia, Miao Hu, Ning Ge en J. Joshua Yang — het USC- en UMass-team achter het fundamentele memristoronderzoek — richtten TetraMem op in San Jose. En die maken er well wat van.
De herdefinitie was deze: memristors concurreren niet met DRAM voor capaciteit. Ze concurreren met GPUs. Voor de inferentieworkload zelf. Meer dan 92% van de AI-berekeningen is matrixvermenigvuldiging. Een memristor voert deze uit fysiek — als elektriciteit door het apparaat stroomt, produceert Ohm’s wet (spanning vermenigvuldigd met geleidbaarheid gelijk aan stroom) het resultaat als een analoog signaal. Geen klokcyclus. Geen geheugenbus. Geen energieverspilling door data tussen processor en opslag te verplaatsen. De gewichten zijn het geheugen, en het lezen van het geheugen is de berekening. (Geen nvidia GPU’s dus ook).
En de vooruitgang van TetraMem is niet theoretisch:
- MLX200: Een memristor-gebaseerde analoge in-memory-computing SoC, getaped op TSMC’s 22nm-proces, siliconvalidatie voltooid. Evaluatiepakketten leverbaar in H2 2026.
- SK Hynix is terug — maar dit keer als partner, niet als een onwillige fabrikant. Een gezamenlijk onderzoekspaper met TetraMem werd gepubliceerd in Advanced Intelligent Systems over een memristor-gebaseerde SoC voor depthwise-convolutie. De VP van SK Hynix kaderde dit expliciet als “nieuwe geheugentechnologieën en rekenarchitecturen voor toekomstige AI-systemen.”
- Andes Technology-partnerschap om memristorarrays te integreren met een RISC-V-vectorprocessor.
- NY CREATES / Albany NanoTech: schaling van 200mm naar 300mm wafers — de industrie standaard voor massaproductie. Gefinancierd door de CHIPS Act.
- Een Nature-artikel uit april 2025: “The growing memristor industry,” analyse van commercieel beschikbare producten, niet alleen onderzoekprototypes.
De memristormarkt had een waarde van $420 miljoen in 2025 en wordt geschat op $21,7 miljard in 2035. Of die projectie uitkomt is nog maar de vraag, maar er zijn werkende siliconen, werkende partnerschappen en een reëel gebruiksscenario — energie-efficiëntie van AI-inferentie — precies wat de technologie nodig heeft.
De fusieweg
Een Science-artikel uit 2024 van Wen et al. demonstreerde een processor die memristor-CIM en SRAM-CIM combineert op dezelfde chip. SRAM behandelt precisie-critische operaties. Memristor behandelt bulkmatrixvermenigvuldiging waar energie-efficiëntie belangrijker is dan exacte precisie. Het resultaat: 77,64 TOPS/W met minder dan 0,5% nauwkeurigheidsverlies. Dit is de pragmatische weg vooruit — niet één geheugentechnologie die alle anderen vervangt, maar elke technologie doet wat het het best kan op dezelfde chip.
Cerebras: volle inzet op SRAM
(Cerebras CPU - definitief de meest indrukwekkend uitziende CPU aller tijden)
Terwijl Optane en memristors de capaciteitslaag aanpakken, koos Cerebras de tegenovergestelde richting: maak SRAM het hele geheugensysteem door een chip zo groot te bouwen dat het genoeg kan bevatten.
De Wafer-Scale Engine 3 (WSE-3) is een enkele chip ter grootte van een bord — 46.225 mm² siliconen, 4 biljoen transistors, 900.000 verwerkingskernen. Elke kern heeft 48 KB lokale SRAM. In totaal: 44 GB aan on-chip SRAM met 21 PB/s bandbreedte. Dat is 7.000 keer de geheugenbandbreedte van een leidende GPU, omdat er geen bus hoeft te worden overgestoken — de data zit naast de rekenkracht.
Voor modellen die passen, zijn de resultaten brutaal. Llama 3.1 8B in FP16 is ongeveer 16 GB, wat 28 GB overlaat voor de KV-cache. Cerebras claimt 1.800 tokens/sec op dat model, tegen ongeveer 242 tokens/sec op een H100. Het hele model zit op-chip. Geen geheugenfleskneep.
Het plafond is capaciteit. 44 GB SRAM is enorm voor on-chip geheugen en een afrondingsfout voor echte modellen. Llama 3 70B heeft 140 GB nodig — vier CS-3-systemen aangesloten via Ethernet. Een trillion-parameter-model vereist ongeveer 45 CS-3-systemen, met een kostenoverschrijding van $100 miljoen. Een enkele NVIDIA GB200-rack bevat meerdere dergelijke modellen in HBM voor ongeveer $3,5 miljoen. Op capaciteit-per-dollar is Cerebras niet in de buurt.
Cerebras lost het bandbreedteprobleem op door brute force. Het werkt spectaculair voor kleine tot middelgrote modellen waar het hele ding op één wafer past. Schaal op en de economie keert zich om.
(Afgelopen week heeft Cerebras een nieuw model voorgesteld. Uiteraard groter sneller dan de voorganger. )
En dan was er ook.
SambaNova: het drie-laags middenveld
SambaNova’s SN40L kiest voor de matige weg. Drie geheugenlagen, elk doet wat het het best kan:
- 520 MB on-chip SRAM (1.040 verdeelde Pattern Memory Units) — ultra-lage latentie voor actieve berekening en operatorfusie
- 64 GB HBM (on-package, ~1,8 TB/s) — cachelaag voor het actieve model of expert
- 1,5 TB DDR DRAM (off-package, ~200 GB/s, direct aangesloten op de versneller) — capaciteitslaag voor alle inactieve modellen
De architectuur is dataflow: data stroomt door een mesh van rekenunits die zijn geïntegreerd met SRAM-geheugenunits. Terwijl één unit rekent, wordt de data voor de volgende unit al opgehaald. Intermediaire resultaten blijven on-chip. Niets gaat terug naar HBM tenzij het moet.
De SN40L werd ontworpen voor Composition of Experts — 150 × 7B expertmodellen, meer dan 1 biljoen parameters in totaal, gedeponeerd op een enkele 8-socket-node. Alle 150 experts zitten in DDR. De router kiest er één. De expert kopieert van DDR naar HBM in minder dan 0,01 seconden. De berekening vindt plaats in SRAM. SambaNova claimt een 3,7x versnelling ten opzichte van een DGX H100 en 6,6x ten opzichte van een DGX A100.
De DDR-capaciteitslaag werkt, maar is vluchtig en bandbreedtebeperkt tot 200 GB/s. Dit is precies de laag waar Optane beter zou zijn geweest — persistent, byte-adresseerbaar, vergelijkbare bandbreedte — en waar memristors uiteindelijk misschien nog beter zouden zijn.
Het patroon
Vier technologieën. Vier bedrijven. Dezelfde fout.
Intel bouwde Optane. De technologie was echt. De $/GB was te dicht bij DRAM. Intel wilde de prijs niet verlagen om de markt te creëren. De markt is nooit ontstaan. Intel doodde het in 2022. Vier maanden later creëerde AI precies het vraagprofiel waarvoor Optane was gebouwd.
HP bouwde The Machine rond memristors. De visie was groot. De productie was niet klaar. De partner met de fabrieken (SK Hynix) had geen belang om zijn eigen DRAM-inkomsten te verstoren. HP degradeerde het product tot een onderzoekprogramma. De visie stierf. De memristor leefde — maar alleen nadat het bedrijf dat erop had ingespeeld was weggegaan.
Cerebras bouwde de meest extreme SRAM-architectuur ooit. De technologie werkt. De capaciteit-per-dollar breekt op schaal. Een wafer-grote chip is een $100 miljoen antwoord op een $3,5 miljoen probleem als modellen groot genoeg worden.
SambaNova bouwde het pragmatische drie-laagssysteem. Het werkt. De capaciteitslaag is vluchtige DDR die de persistentie en efficiëntie van Optane en memristors nodig heeft — waarvan geen van beiden beschikbaar is.
De technologie overleeft de bedrijven die erop hebben ingespeeld. De meest veelbelovende weg voor memristors is nu via een startup (TetraMem), een Koreaanse geheugenreus (SK Hynix), een RISC-V-bedrijf (Andes) en TSMC-fabrieken. Intel en HP — de bedrijven die beide verhalen begonnen — spelen geen rol meer in de heropleving. Het bewijs van het concept van Optane leeft op eBay, waar gedemonteerde enterprise-modules voor een fractie van hun originele prijs worden verkocht en hobbyisten trillion-parameter-modellen daarop draaien.
Dus, tsja, we moeten nog even geduld hebben.
Waarom dit nu belangrijk is
Nu RAM in het middelpunt staat suggereert Intel opnieuw geheugen. Lip-Bu Tan heeft de ex-CEO van SK Hynix aangetrokken. Hij zegt dat geheugen niet langer een commodity is. Daar heeft die gelijk mee en weten meteen wat Intel het belangrijkst vindt — AI-inferentie heeft geheugen tot het product gemaakt, niet de commodity. De vraag is of Intel good begrijpt welk soort geheugen de markt daadwerkelijk nodig heeft.
Als ZAM en XBM gewoon snellere DRAM of een andere HBM-concurrent zijn, zullen ze commodities zijn — sneller, maar architectonisch hetzelfde. De laag die ontbreekt, is die waar Optane stond: persistent, byte-adresseerbaar, hoge capaciteit, bijna-DRAM-snelheid. De laag die terabytes aan KV-cache kan bevatten en herstarten overleeft. De laag die het mogelijk maakt dat de gewichten van een trillion-parameter-modellen in byte-adresseerbaar geheugen zitten in plaats van achter een blok-I/O-laag.
Die laag bestaat vandaag de dag niet. CXL geeft je capaciteit en pooling, maar geen persistentie. HBM geeft je snelheid, maar geen capaciteit. NVMe geeft je capaciteit, maar geen snelheid of byte-adresseerbaarheid. Het gat is reëel, het wordt groter naarmate modellen groeien, en elke AI-inferentieprovider betaalt ervoor in hardware die ze niet nodig zouden hebben en latentie die ze niet zouden moeten hebben.
De technologie om dat gat te vullen is twee keer gebouwd — eerst als Optane, dan als memristors — en twee keer verprutst. De startups die de puin opruimen zijn dichter bij levering dan Intel of HP ooit kwamen. TetraMem heeft werkende siliconen op 300mm wafers met SK Hynix als partner. Cerebras heeft bewezen dat het elimineren van de geheugenfleskneep de extreme kosten waard is voor de modellen die passen. SambaNova heeft bewezen dat een drie-laagse hiërarchie werkt als de lagen zijn afgestemd op de workload.
nVidia is dus niet de belangrijkste factor in AI, ook al doet het leren jassje altijd zo als of dat wel zo is. Ja voor training van modellen zijn processoren nodig die erg goed zijn in matrix berekeningen maar voor inference (chatten, coding en zo verder) is HBM RAM dus de hardware component die het belangrijkst is. Vooralsnog moeten wij met z’n allen wachten tot er voldoende productie capaciteit is voor de vraag van “gewoone gebruikers” en de datacenter boeren die “compute” aanbieden aan AI bedrijven. Helaas kan dat best nog even duren.