Geheugenchips in het AI-tijdperk

Jarenlang stond het computergeheugen rustig op de achtergrond. Snellere processors en slimmere software trokken alle aandacht, terwijl geheugen vaak werd gezien als een saaie, cyclische handelswaar. Dat is drastisch veranderd. De opkomst van kunstmatige intelligentie (AI) heeft geheugen veranderd in een van de belangrijkste knelpunten in het hele computersysteem. Niet alle herinneringen zijn hetzelfde. Geheugenchips worden gebruikt om data binnen op te slaan en te verplaatsen op elektronische apparaten. Sommige geheugentypen zijn extreem snel maar duur en complex; andere zijn trager maar goedkoper en beter geschikt voor het opslaan van grote hoeveelheden data. In de huidige AI-gedreven wereld domineren drie typen de discussie: HBM, DRAM en NAND.

HBM, of High-Bandwidth Memory, ligt heel dicht bij krachtige processors zoals GPU-chips (van Nvidia of AMD) of andere AI-chips (bijvoorbeeld Google's TPU of Amazon's Trainium-chip). De taak is om enorme hoeveelheden data zo snel mogelijk aan deze processors te leveren. Zie het als een snelweg met hoge snelheid die AI-chips laat blijven werken zonder te wachten op informatie.

De AI-modellen van vandaag zijn extreem data-hongerig. Het trainen van een AI-model en het uitvoeren ervan tijdens dagelijks gebruik (een proces dat inferentie heet) vereist dat enorme hoeveelheden data gelijktijdig worden benaderd. Standaard DRAM-geheugen is simpelweg te traag. Daarom bevat elke nieuwe generatie AI-chips - bijvoorbeeld Nvidia's Hopper (gisteren), Blackwell (vandaag), Rubin (morgen) - meer HBM dan de vorige. Vandaag gebruiken Blackwell-chips HBM3E, de aankomende Rubin-chips zullen HBM4 gebruiken. Alleen de bedrijven SK Hynix, Samsung en Micron zijn gekwalificeerd om HBM4 te produceren.

HBM is echter erg moeilijk te produceren. In tegenstelling tot traditionele DRAM-geheugenchips stapelt HBM meerdere geheugenlagen op elkaar en verbindt deze met microscopische verticale kanalen. Dit maakt HBM veel complexer en veel meer middelen om te produceren dan traditionele DRAM-geheugenchips.

Vooruitkijkend wordt verwacht dat de vraag naar HBM nog enkele jaren sterk zal blijven. De capaciteit van HBM bouwt extreem langzaam op. Belangrijke toevoegingen in de levering worden vooral vanaf 2027 verwacht, aangezien nieuwe productielocaties in Zuid-Korea (SK Hynix en Samsung), de VS (Micron en SK Hynix) en Japan (Micron) geleidelijk in gebruik worden genomen.

DRAM, of Dynamic Random Access Memory, is de meest voorkomende vorm van werkgeheugen in computers, servers en smartphones. Het is de plek waar data tijdelijk wordt opgeslagen terwijl programma's draaien. Als HBM een gespecialiseerd racecircuit is, is DRAM het dagelijkse wegennet waarop het meeste verkeer vertrouwt. DRAM bevindt zich op het moederbord van de server en is verbonden met de CPU, terwijl HBM samen met de GPU/AI-chip wordt geleverd met geavanceerde verpakkingstechnologieën.

Lange tijd werd de vraag naar DRAM vooral gedreven door consumentenelektronica zoals pc's en smartphones. Dit maakte de markt zeer cyclisch: wanneer de verkoop van apparaten vertraagde, stortten de geheugenprijzen in. Tegenwoordig heeft DRAM een nieuwe, snelgroeiende eindmarkt gevonden: AI-datacenters, aangezien moderne AI-servers enorme hoeveelheden DRAM vereisen.

De aanvoer van conventionele DRAM wordt indirect beperkt door HBM. Beide geheugentypen zijn grotendeels afhankelijk van dezelfde productiecapaciteit. Door het succes van HBM wordt een groeiend deel van de fabricagemiddelen weggevoerd van standaard DRAM. Erger nog, HBM is aanzienlijk productieflinker in productie: het produceren van één eenheid HBM vereist ongeveer 3 tot 4 keer meer productiecapaciteit dan het produceren van één eenheid standaard DRAM-geheugen.

Omdat HBM de productiecapaciteit van DRAM steelt, wordt de DRAM-voorraad steeds meer belast. Als gevolg hiervan stijgen de DRAM-spotprijzen scherp. De DRAM-prijzen worden grotendeels vastgelegd door langlopende contracten. Maar naarmate deze contracten aflopen, vooral in 2027, zullen de contractprijzen waarschijnlijk veel hoger worden gezet, mits de huidige krappe DRAM-voorraad aanhoudt.

Vooruitkijkend zal er geleidelijk extra DRAM-capaciteit komen. In 2026 komt de meeste groei voort uit het verbeteren van bestaande productieprocessen in plaats van het bouwen van nieuwe fabrieken. Grotere capaciteitsuitbreidingen worden pas vanaf 2027 en daarna betekenisvol, en zelfs dan zal een aanzienlijk deel van die capaciteit nog steeds worden omgeleid naar HBM-productie.

NAND, staat voor "NOT AND", is heel anders dan HBM en DRAM. Het wordt gebruikt voor langdurige opslag, zoals solid-state drives (SSD's) in laptops, datacenters en smartphones. NAND is trager dan DRAM maar veel goedkoper, waardoor het ideaal is voor het opslaan van grote datavolumes. SSD-schijven zijn verbonden met de CPU en worden op het serverchassis geïnstalleerd.

Historisch gezien is NAND het meest volatiele geheugensegment geweest, vaak met een overaanbod. Tegenwoordig verandert deze situatie. AI-systemen genereren enorme hoeveelheden data, en het efficiënt opslaan en beheren van die data is een uitdaging geworden. Als gevolg hiervan vertrouwen datacenters steeds meer op high-performance SSD's, wat de vraag naar NAND verhoogt. Het moet worden opgemerkt dat HDD's (mechanische harde schijven) aanzienlijk goedkoper zijn en de voorkeursoplossing blijven voor massaopslag. Echter, de HDD-levering is momenteel ook beperkt, waardoor NAND-gebaseerde opslag een haalbaar alternatief is geworden.

In tegenstelling tot DRAM en HBM zijn NAND-leveranciers voorzichtig geweest met het uitbreiden van capaciteit. In plaats van veel nieuwe fabrieken te bouwen, richten ze zich op het verbeteren van bestaande fabrieken. Deze discipline heeft het mogelijk gemaakt dat NAND-prijzen en winstgevendheid na jaren van zwakte zijn hersteld.

Vooruitkijkend wordt verwacht dat de vraag naar NAND die aan AI is gekoppeld gestaag zal groeien in plaats van explosief. Significante nieuwe capaciteitsuitbreidingen zijn waarschijnlijk vóór 2027 of 2028, tenzij de AI-gedreven opslagbehoeften sneller versnellen dan verwacht.

Bij alle drie de geheugentypen springt één thema op: capaciteit duurt jaren om op te bouwen. Geheugenchipfabrieken behoren tot de meest complexe industriële faciliteiten ter wereld. Zelfs nadat de bouw is voltooid, kan het maanden of jaren duren voordat de productie volledig efficiënt is. Voor HBM/DRAM wordt een betekenisvolle nieuwe voorraad verwacht, voornamelijk vanaf 2027. De NAND-capaciteit breidt nog langzamer uit en is vooral afhankelijk van incrementele verbeteringen in plaats van nieuwe fabrieken. Deze timing-mismatch – sterke vraag vandaag versus aanbod dat pas later arriveert – verklaart waarom geheugenprijzen waarschijnlijk langer stabiel blijven dan veel mensen verwachten.