OpenAI zet ChatGPT online: een gratis chatprogramma dat antwoordt in gewone taal

SAN FRANCISCO, NOVEMBER 2022 - OpenAI heeft op 30 november een chatprogramma online gezet waarmee je een gesprek voert in gewone taal. Het heet ChatGPT. Je typt een vraag of opdracht, het programma antwoordt, en je kunt doorvragen. OpenAI noemt het een onderzoekspreview: een openbare proefversie die voorlopig gratis is. Het bedrijf wil van de gebruikers leren waar het programma goed in is en waar het beter moet.

Van woordenraden naar een gesprek

ChatGPT is gebouwd op een model uit de GPT-3.5-reeks, waarvan de training begin 2022 klaar was. GPT-3.5 is een verbetering van het taalmodel GPT-3 uit 2020. Zo'n taalmodel is een computerprogramma dat steeds het volgende woord in een tekst voorspelt, zoals de woordsuggesties op je telefoon. Alleen heeft het vooraf enorme hoeveelheden tekst van het internet verwerkt, en kan het daardoor hele alinea's schrijven.

Een model dat alleen woorden voorspelt, is nog geen goede gesprekspartner. Het vult een tekst aan, maar voert niet vanzelf uit wat je vraagt. Het kan ook antwoorden verzinnen of kwetsende tekst schrijven. Onderzoekers van OpenAI lieten in maart 2022 zien dat een groter model daar niet vanzelf beter in wordt. Daarom kreeg ChatGPT een extra opleiding, in drie stappen.

Eerst nabootsen. Trainers schreven voorbeeldgesprekken. Ze speelden daarbij zowel de gebruiker als de AI-assistent die goed antwoord geeft. Het model leerde van die voorbeelden hoe een nuttig antwoord eruitziet.

Dan rangschikken. Het model schreef op één vraag meerdere antwoorden. De trainers zetten die van beste naar slechtste. Uit die ranglijsten leerde een tweede programma te voorspellen hoe goed een mens een antwoord vindt. Dat programma is dus een soort beoordelaar.

Ten slotte oefenen. Het chatprogramma schreef antwoorden en kreeg van de beoordelaar een cijfer. Daarna werd het zo bijgesteld dat het vaker antwoorden geeft die een hoog cijfer krijgen. Die stappen zijn een paar keer herhaald. Deze werkwijze heet leren met menselijke beoordeling, in het Engels reinforcement learning from human feedback (RLHF).

OpenAI gebruikte dezelfde werkwijze eerder voor InstructGPT, een versie van GPT-3 die beter opdrachten opvolgt, met kleine verschillen in hoe de gegevens werden verzameld. In dat onderzoek gaven mensen de voorkeur aan de antwoorden van een InstructGPT-versie met 1,3 miljard parameters (de instelbare getallen in het model) boven die van GPT-3 met 175 miljard. GPT-3 is dus ruim honderd keer zo groot. De InstructGPT-modellen verzonnen ook minder vaak iets en schreven minder vaak kwetsende tekst.

Wat er nog beter moet

OpenAI noemt zelf waar het programma nog moeite mee heeft. Het kan antwoorden geven die goed klinken maar niet kloppen. Een vraag iets anders stellen kan een heel ander antwoord opleveren. Bij een onduidelijke vraag gokt het wat je bedoelt in plaats van door te vragen. Het is vaak te langdradig en herhaalt standaardzinnen, zoals dat het een taalmodel van OpenAI is. Soms gaat het ook in op verzoeken die het zou moeten weigeren, of laat het een vooroordeel zien. Juist om die punten te verbeteren, vraagt OpenAI gebruikers om antwoorden te beoordelen.

Teruggeblikt vanuit 2026

De proef sloeg aan. Volgens OpenAI-topman Sam Altman had ChatGPT na vijf dagen al een miljoen gebruikers. De Zwitserse bank UBS schatte begin februari 2023 dat in januari, twee maanden na de start, al honderd miljoen mensen het minstens één keer per maand gebruikten. Volgens de bank groeide nog nooit een app voor consumenten zo snel: TikTok deed er ongeveer negen maanden over. Daarmee werd een taalmodel iets wat gewone mensen dagelijks gebruiken, zonder dat ze hoeven te weten hoe het werkt.

OpenAI bouwde door. In maart 2023 volgde GPT-4, dat ook afbeeldingen kan lezen en de betaalde versie van ChatGPT ging aandrijven. In september 2024 kwam o1, een model dat eerst een lange gedachtegang doorloopt en dan pas antwoordt, waar ChatGPT in 2022 meteen begon te schrijven. Dat mensen antwoorden beoordelen en daarmee een model bijsturen, bleef intussen een vast onderdeel van de opleiding van chatprogramma's. Het chatvenster werd voor veel mensen het gezicht van AI.