Ai2 geeft open oefenwereld voor robots vrij: een robotarm en een tafel vol blokken

Een robot leert een handeling vaak door voorbeelden te bekijken. Die voorbeelden maken kost veel tijd: een mens bestuurt de robotarm op afstand, keer op keer. En gaat het daarna mis, dan is vaak lastig te zeggen waarom. Lag het aan de voorbeelden, aan het model of aan de situatie?

Het Allen Institute for AI (Ai2), een Amerikaans onderzoeksinstituut, wil dat makkelijker maken met ToyBlocks. Dat is een simulatie: een nagebootste wereld op de computer, waarin een robotarm blokken op een tafel verplaatst. De code is open en vrij te gebruiken. ToyBlocks is de eerste van wat Ai2 FoundationWorlds noemt, bewust eenvoudige werelden die onderzoekers helemaal in de hand hebben. Ze kunnen de trainingsdata veranderen, een test herhalen en zo nagaan waardoor een robot een fout maakt.

Duwen, stapelen en woorden spellen

De robotarm duwt, draait, stapelt en verplaatst de blokken. Op de zijkanten van de blokken staan letters en plaatjes. Daardoor kan de opdracht ook zoeken, sorteren of ordenen zijn, bijvoorbeeld een stapel bouwen die "Ai2" spelt. De simulatie verandert ook de grootte van de blokken, de hoogte van de tafel en andere eigenschappen. Zo blijkt of een model de handeling echt beheerst of alleen die ene situatie uit zijn hoofd heeft geleerd.

De voorbeelden maakt de computer zelf, zonder mens aan de besturing. Een planner bedenkt de volgorde van de handelingen en de bewegingen ertussen. Die plannen worden daarna uitgevoerd in de simulatie en opgenomen. Op één grafische kaart lopen honderden plannen tegelijk, waardoor dit tot 24 keer zo snel gaat als in het echt. Ai2 geeft op deze manier 85.336 lange voorbeelden vrij: bijna 1.600 uur robotwerk.

Wat de eerste proeven laten zien

Ai2 testte drie bekende robotmodellen: ManiFlow, pi0.5 en MolmoAct 2. Die oefenden bijvoorbeeld met blokken aan de linkerkant van de tafel en moesten het daarna aan de rechterkant doen. Of ze trainden op stapels van twee en vijf blokken en werden getest op stapels van drie en vier. Dat ging volgens Ai2 slecht, hoewel de modellen vooraf op grote hoeveelheden data waren getraind. Het team kreeg de resultaten beter, maar noemt het probleem nog lang niet opgelost. Juist dat soort metingen is waar ToyBlocks voor bedoeld is.

Bij de vrijgave hoort ook een open model, ManiFlow-TB, dat de bewegingen van de arm aanstuurt. In de simulatie slaagde het in 54 tot 59 procent van 128 proeven met drie blokken. Het kreeg het plan wel kant-en-klaar aangereikt. Die cijfers zeggen dus hoe goed het model de bewegingen uitvoert, niet of het zelf kan bedenken wat er moet gebeuren. De uitkomst wisselt ook per testronde, omdat de simulatie niet elke keer precies hetzelfde verloopt: dezelfde proef kan de ene keer lukken en de andere keer niet.

Van de simulatie naar een echte arm

Ai2 zette modellen die alleen in de simulatie hadden getraind ook op een echte Franka-robotarm, zonder voorbeelden uit de echte wereld. Losse handelingen, zoals oppakken, neerzetten en omdraaien, lukten daar in 81 procent van de proeven, ongeveer even vaak als de 80 procent in de simulatie.

Het AI-model Molmo 2 kreeg ook de rol van planner: het koos telkens de handeling en het blok, waarna ManiFlow de beweging uitvoerde. Zo spelden de twee met blokken in 15 van de 30 proeven op de echte arm het goede woord. Dat was de makkelijkste versie, met alle letters rechtop en zichtbaar. In de simulatie lukte het in 55,5 procent. Ai2 wil meer proeven doen om die cijfers steviger te maken.

Ook een groot AI-model kan de arm aansturen. Claude Opus 5.5 van Anthropic kreeg camerabeelden en wees met opdrachten aan wat de arm moest pakken. Gewone stapelpuzzels loste het op in 30 van de 30 gevallen. Moeilijker was het zoeken en spellen van woorden van drie letters met maximaal acht blokken, waarbij in de helft van de opstellingen een letter ontbrak. Het model moest dan zeggen dat het niet kon. Dat ging in 63 procent van de gevallen goed. Opvallend: die 63 procent haalde het model met beschrijvingen van de handelingen die het zelf had geschreven. Met de standaardbeschrijvingen was het 24 procent, met die van een menselijke deskundige 36 procent.

Over een paar weken volgt volgens Ai2 een tweede versie met meer data en meer handelingen. Later wil het instituut verder met twee armen tegelijk en met robothanden die kracht en aanraking voelen.

Wat betekent dit voor de weg naar de singulariteit?

AI kan alleen fabrieken bouwen, spullen verplaatsen en experimenten doen als robots dat werk in de echte wereld aankunnen. Dat leren gaat nog langzaam, omdat goede voorbeelden schaars zijn en fouten moeilijk te verklaren. ToyBlocks geeft onderzoekers een plek om die fouten precies te meten en een grote stapel voorbeelden om van te leren.

De eerste proeven laten twee dingen zien. Modellen die alleen in een simulatie oefenden, kunnen ook op een echte arm werken, al zijn dat nog kleine tests. En het lastigste werk zit in alles wat net anders is dan tijdens de training. Dat is precies waar onderzoekers nu op kunnen meten en verbeteren, met blokken als eerste stap naar ingewikkelder werelden.

Wat is de technologische singulariteit? Lees de uitleg →