GPU
Een GPU is een chip die heel veel eenvoudige berekeningen tegelijk doet. Hij is bedacht voor beeld en games, maar is nu ook de belangrijkste chip om AI-modellen te trainen en te gebruiken.
Een gewone processor (CPU) is goed in veel verschillende taken, maar doet ze grotendeels na elkaar. Voor beeld op een scherm moeten miljoenen beeldpunten tegelijk worden uitgerekend. Daarvoor is de GPU (graphics processing unit) bedacht: een chip met duizenden kleine rekenkernen die samen hetzelfde soort berekening op heel veel getallen tegelijk doen. In een pc zit hij meestal op een videokaart, ook wel grafische kaart genoemd.
Het rekenwerk van AI lijkt sterk op dat van beeld: enorme rijen getallen die met elkaar worden vermenigvuldigd. Daarom draaien de meeste AI-modellen op GPU's, van één videokaart in een pc tot tienduizenden in een datacenter. Nvidia is de grootste maker. Ook AMD maakt ze, en bedrijven als Google gebruiken daarnaast eigen AI-chips.
Waarom het ertoe doet
GPU's zijn de motor van de huidige groei van AI: wie er genoeg van heeft, kan grotere modellen trainen. Ze zijn ook nuttig buiten taalmodellen. NVIDIA-software rekent op één krachtige videokaart in gemiddeld enkele milliseconden uit hoe een robotarm kan bewegen zonder iets te raken. In een nagebootste oefenwereld voor robots lopen op één grafische kaart honderden plannen tegelijk. Tegelijk worden sommige modellen zo zuinig dat ze geen krachtige videokaart meer nodig hebben en gewoon op een telefoon of laptop draaien.
Artikelen over GPU
-
Netwerk van kunstmatige neuronen leert van zijn eigen fouten
Drie onderzoekers beschrijven in Nature een leermethode voor kunstmatige neurale netwerken: het netwerk rekent zijn fout terug en stelt alle verbindingen een klein beetje bij. Zo vinden ook de tussenlagen zelf wat voor de taak belangrijk is.