Meta Platforms bouwt metaverse supercomputer

Meta Platforms bouwt aan een nieuwe AI supercomputer waarvan het denkt dat het de snelste ter wereld zal zijn wanneer die medio 2022 klaar is. De nieuwe AI Research SuperCluster (RSC) zal het bedrijf helpen betere AI-modellen te bouwen die kunnen leren van triljoenen voorbeelden, werken in honderden talen, en tekst, afbeeldingen en video samen analyseren om te bepalen of inhoud schadelijk is. Met andere woorden, met RSC wil Meta Platforms nog duidelijker zijn vlag planten in de metaverse-wereld.

Het socialemediabedrijf Facebook veranderde zijn naam in oktober in Meta om zijn focus op de metaverse weer te geven, naar eigen zeggen “de opvolger van het mobiele internet”. Die metaverse is een brede verzameling, dat verwijst naar het idee van gedeelde virtuele omgevingen waartoe mensen via verschillende apparaten toegang hebben en waar ze kunnen werken, spelen en socialiseren. “De ervaringen die we bouwen voor de metaverse vereisen enorme rekenkracht (quintiljoenen bewerkingen/seconde!) en RSC zal nieuwe AI-modellen mogelijk maken die kunnen leren van triljoenen voorbeelden, honderden talen begrijpen, en meer," aldus Meta CEO Zuckerberg.

Met de hulp van de nieuwe supercluster moeten stemvertalingen in real time uitgevoerd en uitgeleverd kunnen worden aan gevarieerd anderstalig publiek dat naadloos moet samenwerken aan een onderzoeksproject. Of die samen een AR-spel willen spelen. Meta is trouwens niet de enige die aan een AI supercomputer bouwt. Ook Microsoft en Nvidia hebben al hun eigen versie, al timmerde die laatste mee aan Meta’s RSC.
 

Op het gevaar af om iets te technisch te worden, gaan we kort in op de specificiteiten van de AI-supercomputers. Die worden opgebouwd door de combinatie van meerdere GPU's (grafische processoren) tot compute nodes (netwerken), die vervolgens worden verbonden door een krachtige netwerkstructuur om snelle communicatie tussen die GPU's mogelijk te maken.

RSC bevat vandaag in totaal 760 NVIDIA DGX A100-systemen als compute nodes, met in totaal van 6.080 GPU's. Uit de eerste benchmarks op RSC, in vergelijking met de bestaande productie- en onderzoeksinfrastructuur van Meta, is gebleken dat de uitvoering van computer vision-workflows tot 20 k eer sneller verloopt, de NVIDIA Collective Communication Library (NCCL) draait meer dan negen keer sneller en grootschalige NLP-communicatiemodellen (Neuro-Linguïstisch Programmeren) worden drie keer sneller getraind. Dat betekent dat een model met tientallen miljarden parameters in drie weken kan worden getraind, terwijl dat voorheen negen weken duurde. In de loop van 2022 wordt het aantal GPU’s opgevoerd tot 16.000, waarmee het de snelste AI supercomputer ter wereld zal zijn.
 

Onder meer om de veiligheid van de data te garanderen. En dat is een domein waar Meta wel nog wat te bewijzen heeft. Om nieuwe AI-modellen te bouwen die ten goede komen aan de mensen die de Meta-diensten gebruiken, moeten de modellen volgens het bedrijf leren met behulp van real-world gegevens uit hun productiesystemen. “RSC is vanaf het begin ontworpen met het oog op privacy en veiligheid, zodat Meta-onderzoekers veilig modellen kunnen trainen met versleutelde door gebruikers gegenereerde gegevens die pas vlak voor de training worden ontsleuteld”, aldus Meta. RSC is bijvoorbeeld geïsoleerd van het grotere internet, met geen directe inkomende of uitgaande verbindingen, en verkeer kan alleen stromen vanuit de productie datacentra van Meta.