OpenAI presenteert GPT-4: een model dat ook afbeeldingen begrijpt en examens haalt

SAN FRANCISCO, MAART 2023 - OpenAI heeft GPT-4 gepresenteerd, de opvolger van het taalmodel achter ChatGPT. Het nieuwe model kan naast tekst ook afbeeldingen als invoer lezen. Het antwoordt in tekst. Bij een proefexamen voor advocaten, het Amerikaanse bar exam, scoort het volgens OpenAI bij de beste tien procent van de kandidaten.

Wat GPT-4 kan

Een taalmodel krijgt een opdracht en schrijft het antwoord. Bij eerdere versies bestond die opdracht uit alleen tekst. GPT-4 neemt ook afbeeldingen aan, zoals een foto, een tabel of een schets, en kan daarover vragen beantwoorden. Het schrijft tekst terug, geen beelden.

Het model onthoudt tijdens een gesprek een beperkte hoeveelheid tekst. In de standaardversie is dat 8.000 stukjes tekst, een stukje is een woord of een deel van een woord. Een speciale versie voor ontwikkelaars kan 32.000 stukjes aan.

OpenAI zegt dat het model op veel professionele en academische tests menselijk niveau haalt. Het is in veel situaties uit het echte leven nog minder goed dan een mens. Net als zijn voorgangers kan GPT-4 dingen verzinnen die er overtuigend uitzien, hallucineren genoemd.

Hoe het model wordt gemaakt

GPT-4 is een Transformer, het ontwerp waarmee alle woorden van een tekst tegelijk worden bekeken. Het wordt in twee fases gemaakt.

Eerst voorspellen. Het model leest enorme hoeveelheden tekst en leert bij elk stukje te voorspellen wat er volgt. Daardoor leert het niet alleen woorden, maar ook feiten en verbanden, voor zover die in de tekst staan.

Dan bijsturen. Daarna volgt een tweede fase, waarin het model beter leert zich te gedragen zoals gewenst en minder te verzinnen. Zoals bij ChatGPT beoordelen mensen daarvoor antwoorden. OpenAI zegt dat dit de feitelijke juistheid verbetert en ervoor zorgt dat het model zich aan de gewenste gedragsregels houdt.

Voorspellen voordat je bouwt

Het trainen van zo'n model kost veel rekenwerk. Daarom bouwde OpenAI methoden die zich voorspelbaar gedragen als ze groter worden. Het team kon sommige prestaties van GPT-4 voorspellen uit kleinere modellen, getraind met hoogstens een duizendste van het rekenwerk. Dat bouwt voort op de eerdere vondst dat modellen voorspelbaar beter worden met meer schaal.

Wat OpenAI niet vertelt

Het bedrijf zegt niet hoe groot het model is, welke teksten het heeft gelezen en hoeveel rekenwerk het kostte. Dat is anders dan bij eerdere modellen.

Teruggeblikt vanuit 2026

GPT-4 dreef al snel de betaalde versie van ChatGPT aan, terwijl de gratis versie op GPT-3.5 bleef draaien. Beeldinvoer kwam voor gebruikers van ChatGPT Plus pas in september 2023. Onderzoekers merkten op dat een examenscore van een taalmodel lastig te duiden is: het kan op een test goed scoren zonder dat het elders even betrouwbaar is. Toch liet GPT-4 zien hoeveel zulke modellen aankunnen: op het Amerikaanse artsenexamen haalde het meer dan 20 punten boven de slaaggrens.

De stap is belangrijk omdat taalmodellen hiermee gereedschap werden voor taken die kennis en redeneren vragen, en niet alleen voor het schrijven van tekst. Sinds 2023 zijn nog veel nieuwere modellen verschenen, ook van OpenAI. Maar de combinatie van tekst en beeld, en het vooraf voorspellen van wat een groter model oplevert, blijft een bouwsteen van hoe nieuwe modellen worden gemaakt.