EnglishAI leert voorspellen van zelfbedachte oefeningen, zonder echte data
Onderzoekers uit Tel Aviv en Stanford lieten twee AI-modellen oefenen met zelfgemaakte reeksen, zonder één echte tekst of foto. Daarna herkende een van de modellen ook patronen in echte tekst, muziek en DNA. Het is een eerste proef met kleine modellen.
Bijna elk AI-model begint zijn training met enorme hoeveelheden informatie uit de echte wereld: boeken, websites, afbeeldingen en opnames. Ontwikkelaars komen daarbij in de buurt van de grens van alle goede, door mensen gemaakte data, en bedrijven investeren daarom in methoden die daar minder van afhangen.
Onderzoekers van de Universiteit van Tel Aviv en Stanford University laten nu zien dat een model een begin kan maken zonder één echt voorbeeld. Het onderzoek gebeurde onder leiding van Yoav Levine van de Universiteit van Tel Aviv, als onderdeel van het werk van onderzoeker Kfir Dolev. Het staat sinds 24 september als voorpublicatie online. De universiteit meldde het op 5 november.
Twee modellen die samen oefenen
De methode gebruikt twee AI-modellen die allebei vanaf nul beginnen. Het eerste model schrijft korte computerprogramma's in een heel eenvoudige programmeertaal. Die programma's maken reeksen tekens. Het tweede model krijgt die reeksen en leert telkens het volgende teken te voorspellen.
Het eerste model krijgt een beloning als het tweede model veel leert van een reeks. Het werkt dus als een leraar die oefeningen kiest die niet te makkelijk en niet te moeilijk zijn. Naarmate de leerling beter wordt, worden de oefeningen moeilijker.
De test met echte data
Na de training kreeg het lerende model data uit de echte wereld die het nooit had gezien: tekst, foto's, spraak, muziek, computercode en DNA. Het moest steeds voorspellen wat er komt, zonder bij te leren. Het deed dat op al die gebieden beter dan een model dat had geoefend met willekeurige programma's. Hoe meer rekenkracht er in de training ging, hoe beter het werd.
Op tekst en computercode was een oudere aanpak met vaste grammaticaregels nog sterker. Op foto's, muziek en geluid won de nieuwe methode ook van die aanpak.
Het model kon bovendien regels afleiden uit voorbeelden die het tijdens de test zag, zonder extra training. Zo zette het een reeks achterstevoren als de voorbeelden dat lieten zien.
In de zelfgemaakte oefeningen doken ook bekende wiskundige patronen op, zoals de reeks van Fibonacci, waarin elk getal de som is van de twee getallen ervoor. Het leerduo vond die reeks na 512 rondes. Met willekeurige programma's zou dat volgens de onderzoekers naar verwachting meer dan 53.000 rondes duren.
In een ander experiment oefende een model eerst op deze manier en ging het daarna verder met echte data. Het leerde dan sneller dan een model dat meteen met echte data begon. Dat voordeel werd kleiner naarmate de training langer duurde.
Waar de methode nog stopt
De onderzoekers noemen dit zelf een eerste bewijs dat het kan, met kleine modellen. Een model kan op deze manier ook geen feiten over de werkelijkheid leren: wat Parijs is, moet het ergens uit de echte wereld halen. Het gaat om algemene vaardigheden, zoals patronen herkennen.
Levine vindt wel dat de studie de oude aanname weerlegt dat een AI-model eerst enorme hoeveelheden echte data nodig heeft om iets nuttigs te leren. Vakgenoten moeten het werk nog beoordelen. De volgende grote vraag is of het ook bij de veel grotere modellen werkt die we dagelijks gebruiken.
Wat betekent dit voor de weg naar de singulariteit?
AI-modellen worden nu nog beter door ze meer data van mensen te geven. Als een deel van hun vaardigheden kan ontstaan uit oefeningen die AI zelf bedenkt, wordt die voorraad minder bepalend. Dit is een eerste stap op kleine schaal, geen vervanging van echte data. Lukt het om de methode op te schalen, dan kunnen modellen zich straks voorbereiden voordat ze de echte wereld te zien krijgen, en daarna sneller leren.
