OpenAI toont aan dat taalmodellen voorspelbaar beter worden naarmate ze groter worden

SAN FRANCISCO, JANUARI 2020 - Hoeveel beter wordt een taalmodel als je het groter maakt? Onderzoekers van OpenAI hebben dat gemeten, en het antwoord is opvallend rustig: de winst volgt een nette, voorspelbare lijn. Daarmee kunnen bedrijven vooraf uitrekenen wat een groter model ongeveer oplevert.

Een model dat het volgende woord raadt

Een taalmodel is een programma dat het volgende woord in een tekst voorspelt, zoals de suggesties op je telefoon, maar dan veel slimmer. Het leert dat door enorme hoeveelheden tekst te lezen en bij elk woord te gokken wat erna komt. Een neuraal netwerk, het soort programma dat hier wordt gebruikt, bestaat uit veel getallen die tijdens het leren steeds worden bijgesteld. Die getallen heten parameters.

Om te meten hoe goed een model is, gebruiken de onderzoekers een foutmaat. Die zegt hoe verrast het model is door het woord dat er echt volgt. Hoe lager de maat, hoe beter het model de tekst voorspelt.

Drie ingrediënten

Een model groeit op drie manieren. Je kunt meer parameters gebruiken, dus een groter netwerk. Je kunt het meer tekst laten lezen. En je kunt meer rekenwerk inzetten, dus meer chips en meer tijd.

OpenAI trainde veel modellen van verschillende groottes en keek hoe de fout veranderde. Als een van de drie ingrediënten groeide en de andere twee geen beperking vormden, nam de fout af volgens een vast patroon. In gewone woorden: elke keer dat je een ingrediënt tien keer zo groot maakt, wordt de fout met dezelfde vaste factor kleiner. Dat patroon klopte over meer dan zeven stappen van tien keer groter, dus over een verschil van ruim tien miljoen keer.

Wat nog meer opviel

Het ontwerp van het netwerk deed er binnen een breed bereik weinig toe. Een breder of dieper netwerk gaf nauwelijks verschil, het totale aantal parameters telde. Grotere modellen leerden bovendien meer van dezelfde hoeveelheid tekst. De onderzoekers vonden ook eenvoudige formules voor wanneer een model te veel van zijn trainingstekst gaat onthouden, en voor hoe snel het leert.

Daaruit volgt een praktische keuze voor wie een vast budget aan rekenwerk heeft. Volgens de onderzoekers is het dan het slimst om een heel groot model te trainen op een niet te grote hoeveelheid tekst, en te stoppen voordat het model uitgeleerd is.

Kanttekeningen

Het is een meting van de fout bij het voorspellen van tekst, niet van wat een model daarmee kan. Of een model straks beter vertaalt of redeneert, laat deze lijn niet zien. Voor een bedrijf is voorspelbaarheid toch al veel waard.

Teruggeblikt vanuit 2026

Vier maanden later beschreef OpenAI GPT-3, met 175 miljard parameters ruim honderd keer zo groot als de voorganger. In 2022 liet DeepMind met het model Chinchilla zien dat de verdeling anders moet: model en hoeveelheid tekst moeten ongeveer evenredig groeien. Chinchilla had 70 miljard parameters, trainde op ongeveer vier keer zoveel tekst als het model Gopher van 280 miljard, en deed het beter. De lijnen van 2020 bleven dus kloppen, alleen de beste verdeling bleek anders.

De voorspelbaarheid wordt nog steeds gebruikt. In het technische verslag van GPT-4 uit 2023 schrijft OpenAI dat het een deel van de prestaties vooraf kon voorspellen met modellen die op hoogstens een duizendste van het rekenwerk waren getraind. Dat is een reden dat bedrijven zijn gaan investeren in steeds grotere AI-datacenters: wie weet wat meer rekenwerk oplevert, kan beter besluiten of het de moeite waard is.