OpenAI presenteert GPT-3: een taalmodel dat taken leert uit een paar voorbeelden in de opdracht

SAN FRANCISCO, MEI 2020 - OpenAI heeft een wetenschappelijk artikel gepubliceerd over GPT-3, een taalmodel van een ongekende omvang. Het model heeft 175 miljard parameters, meer dan tien keer zoveel als elk eerder taalmodel van dit type. Het opvallendste is niet het formaat. Het is dat GPT-3 een nieuwe taak oppakt als je hem in de opdracht een paar voorbeelden laat zien, zonder dat het model opnieuw wordt getraind.

Een model dat het volgende stukje tekst raadt

GPT-3 doet in de kern hetzelfde als de suggesties op je telefoon: het voorspelt wat er in een tekst volgt. Het model bestaat uit een neuraal netwerk, een rekenprogramma met heel veel getallen die tijdens het leren worden bijgesteld. Die getallen heten parameters. Bij GPT-3 zijn het er 175 miljard, tegen 1,5 miljard bij de voorganger GPT-2 van vorig jaar.

Het leerde van ongeveer 499 miljard stukjes tekst. Die kwamen uit webpagina's, boeken en Wikipedia. Een stukje, in vaktaal een token, is een woord of een deel van een woord. Het model kijkt telkens naar de laatste 2.048 stukjes en kiest wat het meest waarschijnlijk volgt. Het is gebouwd op de Transformer, het ontwerp van Google uit 2017 dat alle woorden tegelijk bekijkt.

Leren uit een paar voorbeelden

Tot nu toe moest je een taalmodel voor elke taak apart bijtrainen. Wilde je vertalingen, dan gaf je het duizenden vertaalde zinnen en paste je de parameters aan. GPT-3 hoeft dat niet. Je schrijft in de opdracht zelf een paar voorbeelden, bijvoorbeeld drie Engelse woorden met hun Nederlandse vertaling, en dan het begin van een nieuw woord. Het model maakt het patroon af. Er verandert niets aan de parameters, alles zit in de tekst van de opdracht.

Volgens het artikel presteert GPT-3 zo goed bij vertalen, vragen beantwoorden en het aanvullen van zinnen. Het kan ook letters in een woord op de juiste volgorde zetten, een nieuw verzonnen woord in een zin gebruiken en getallen van drie cijfers optellen.

Kunnen mensen het verschil zien?

De onderzoekers lieten het model nieuwsberichten schrijven. Tachtig Amerikaanse deelnemers moesten raden of zo'n bericht van een mens of van GPT-3 kwam. Ze hadden het in 52 procent van de gevallen goed, nauwelijks beter dan gokken.

Wat het nog niet kan

Het model is niet feilloos. Op sommige testen blijft het leren uit een paar voorbeelden moeilijk. Omdat het van een groot deel van het internet leert, kan het ook onjuiste of schadelijke teksten nabootsen, en de makers merken zorgen over dat soort risico's zelf ook op. Het is een eerste stap, geen kant-en-klare oplossing.

Teruggeblikt vanuit 2026

OpenAI stelde GPT-3 op 11 juni 2020 beschikbaar voor ontwikkelaars, eerst in een testfase. In september 2020 kreeg Microsoft de exclusieve licentie op het model. In 2022 volgde InstructGPT, een versie die door mensen is bijgestuurd om opdrachten beter op te volgen, en daarna GPT-3.5. Op GPT-3.5 draaide het chatprogramma ChatGPT, dat in november 2022 uitkwam.

De vraag die deze mijlpaal opwierp, is gebleven: levert opschalen steeds nieuwe vaardigheden op? Het leren uit voorbeelden in de opdracht was niet apart ingebouwd. Het bleek te ontstaan doordat het model groter werd. Sindsdien bouwen bedrijven steeds grotere modellen, mede omdat de winst volgens eerder onderzoek voorspelbaar is.