EnglishRekenkracht
Rekenkracht is hoeveel rekenwerk computers in een bepaalde tijd kunnen doen. Voor AI komt die vooral uit grote aantallen gespecialiseerde chips in datacenters; meer rekenkracht maakt grotere en betere modellen mogelijk.
Een AI-model trainen of gebruiken is in de kern heel veel rekenen: getallen met elkaar vermenigvuldigen en optellen, ontelbaar vaak achter elkaar. Hoeveel van dat werk een computer of een heel datacenter in een bepaalde tijd aankan, heet rekenkracht.
Voor AI komt de meeste rekenkracht uit gespecialiseerde chips, zoals GPU's, die veel berekeningen tegelijk doen. Duizenden van die chips samen in een datacenter leveren de rekenkracht om de grootste modellen te trainen. Dat kost ook veel stroom. Daarom gaan rekenkracht en energie in het AI-nieuws vaak samen.
Waarom het ertoe doet
AI-modellen werden de afgelopen jaren vooral beter doordat er meer data en meer rekenkracht in de training ging. Rekenkracht is daardoor een van de belangrijkste grondstoffen van de vooruitgang in AI, en bedrijven investeren er miljarden in.
Toch is meer rekenkracht niet de enige weg vooruit. Onderzoeksbureau METR schat dat Anthropic zijn modellen nu ongeveer twee keer zo snel verbetert, en vond overtuigend bewijs dat dit niet komt doordat er sneller meer rekenkracht in de training gaat. Waarschijnlijk helpt AI zelf mee aan het onderzoek. Anthropic keek daarnaast zelf hoe het zijn rekenkracht verdeelt: ongeveer 6 procent van de rekenkracht voor AI-onderzoek ging naar veiligheidswerk.
Artikelen over Rekenkracht
-
Netwerk van kunstmatige neuronen leert van zijn eigen fouten
Drie onderzoekers beschrijven in Nature een leermethode voor kunstmatige neurale netwerken: het netwerk rekent zijn fout terug en stelt alle verbindingen een klein beetje bij. Zo vinden ook de tussenlagen zelf wat voor de taak belangrijk is.
-
Intel zet een complete rekeneenheid op één chip
Intel kondigt de 4004 aan: een rekeneenheid van ongeveer 2.300 transistors op één stukje silicium, voor 60 dollar. Wat eerst een kast vol onderdelen vroeg, past nu in een behuizing met 16 pootjes.
-
Gordon Moore: het aantal onderdelen op een chip verdubbelt elk jaar
In het blad Electronics schrijft Gordon Moore van Fairchild dat het aantal onderdelen op een chip tot nu toe elk jaar ongeveer verdubbelt, en dat dit minstens tien jaar kan doorgaan. Over tien jaar verwacht hij 65.000 onderdelen op één chip.
-
Eerste kernreactor draait onder de tribune van een stadion in Chicago
Op een squashbaan onder een stadion in Chicago heeft een team rond Enrico Fermi de eerste kettingreactie gestart die zichzelf in stand houdt en te beheersen is. De reactor leverde ongeveer een halve watt, maar het principe is bewezen.
