Ik ben al dol op technologie sinds ik op de oude pc van mijn grootmoeder mocht spelen, dus heb ik besloten er mijn beroep van te maken. Vandaag ben ik verantwoordelijk voor de hardwareafdeling, waar ik me kan uitleven door elk onderdeel van de pc’s die ik op de redactie test, één voor één onder de loep te nemen.
Hoewel kunstmatige intelligentie voorbehouden lijkt aan superkrachtige machines, bewijst een recente demonstratie het tegendeel. Onderzoekers zijn erin geslaagd een modern AI-model te laten draaien op een computer uit 1997, uitgerust met een eenvoudige Pentium II-processor en 128 MB RAM. Dit experiment zet onze zekerheden over de hardwarevereisten van AI op losse schroeven en maakt de weg vrij voor een ongekende technologische democratisering.
Een technisch hoogstandje: moderne AI laten draaien op verouderde hardware
Deze prestatie is geleverd door EXO Labs, een bedrijf opgericht door Andrej Karpathy, een bekend figuur op het gebied van kunstmatige intelligentie, samen met onderzoekers van de Universiteit van Oxford. Door middel van een geavanceerde technische aanpak zijn ze erin geslaagd om een op Llama 2 gebaseerd taalmodel uit te voeren op een Intel Pentium II-processor met een kloksnelheid van slechts 350 MHz, ondersteund door 128 MB RAM. Een hardwareomgeving die op het eerste gezicht volstrekt ontoereikend lijkt voor de eisen van de hedendaagse AI.
Toch slaagde het model erin om met een respectabele snelheid van 39,31 tokens per seconde te werken, met slechts 260.000 parameters. Dit opmerkelijke resultaat is te danken aan het gebruik van BitNet, een nieuwe revolutionaire neurale netwerkarchitectuur. In tegenstelling tot traditionele modellen met drijvende precisie (float32) maakt BitNet gebruik van ternaire gewichten, waarbij elk gewicht slechts drie mogelijke waarden heeft (-1, 0, 1). Deze vereenvoudiging maakt een extreme compressie van het model mogelijk zonder noemenswaardig prestatieverlies.
Dankzij BitNet kan een model dat normaal gesproken 7 miljard parameters bevat, worden teruggebracht tot slechts 1,38 GB. Daardoor kan het worden uitgevoerd op bescheiden processors, zonder de hulp van hoogwaardige grafische kaarten. Volgens EXO Labs zou deze technologie het zelfs mogelijk maken om modellen met 100 miljard parameters op een enkele CPU uit te voeren, met verwerkingssnelheden die dicht in de buurt komen van die van het menselijk lezen.
Dit experiment bewijst niet alleen de haalbaarheid van AI-modellen op beperkte platforms, maar onderstreept ook het cruciale belang van algoritmische optimalisatie ten opzichte van pure hardwarekracht.
Naar een duurzame en inclusieve democratisering van kunstmatige intelligentie
Naast de technische prestatie heeft deze demonstratie ook belangrijke maatschappelijke implicaties. Een van de belangrijkste obstakels voor de massale invoering van AI zijn vaak de kosten, zowel in termen van apparatuur als energieverbruik. Als oplossingen zoals BitNet het mogelijk maken om geavanceerde modellen op bestaande of oudere apparatuur te laten draaien, dan zou de toegang tot AI zich tot ver buiten de onderzoekslaboratoria en technologiebedrijven kunnen uitbreiden.
In ontwikkelingslanden, waar moderne IT-middelen soms schaars en duur zijn, zou deze aanpak nieuwe mogelijkheden kunnen bieden. Scholen, gezondheidscentra of kleine bedrijven zouden AI kunnen gebruiken voor onderwijs, diagnose of economische optimalisatie, zonder dat ze hoeven te investeren in de nieuwste infrastructuur.
Bovendien zou het hergebruik van oude apparatuur voor geavanceerde taken vanuit ecologisch oogpunt de productie van elektronisch afval beperken en de koolstofvoetafdruk van de productie van nieuwe apparatuur verkleinen. Dit sluit aan bij de duurzaamheidsprincipes die in het huidige technologiebeleid steeds meer worden nagestreefd.
Ten slotte illustreert deze ontwikkeling een paradigmaverschuiving: de toekomst van kunstmatige intelligentie hangt niet alleen af van voortdurende verbetering van de hardwareprestaties. Ze is ook gebaseerd op software-ingeniositeit en innovaties die het mogelijk maken om “meer te doen met minder”. Dit maakt de weg vrij voor een meer verantwoordelijke, inclusieve en minder elitaire AI.
