Robot-AI uit Seoul stelt zich eerst voor hoe het eruit gaat zien, en kiest dan pas zijn beweging
Onderzoekers van de Nationale Universiteit van Seoul hebben een AI-model gemaakt dat een robot vooraf laat 'zien' hoe een taak afloopt. Met die beelden kiest de robot zijn bewegingen. In echte tests lukte bijna acht op de tien taken, iets vaker dan bij bekende concurrenten.
Mensen doen het de hele dag zonder erbij na te denken: voordat je een kopje oppakt, zie je in gedachten al hoe je hand eromheen gaat. Robots missen dat vermogen meestal. Ze krijgen een opdracht en een camerabeeld, en rekenen dan direct uit hoe ze moeten bewegen. Onderzoekers van de Nationale Universiteit van Seoul in Zuid-Korea leren een robot nu eerst vooruit te kijken.
Hun AI-model heet Dynin-Robotics. Het werd gemaakt door het team van professor Jaeyoung Do, met Hoeun Lee als eerste auteur. Het onderzoek wordt in december gepresenteerd op NeurIPS, een van de grootste AI-conferenties ter wereld.
Eerst een plaatje, dan de beweging
Het bijzondere is dat één model alles tegelijk doet. Het begrijpt taal, beelden en video, en het stuurt de arm van de robot aan. Krijgt de robot een opdracht, dan maakt het model eerst een beeld van hoe de tafel eruit zal zien na de volgende beweging, of als de taak klaar is.
Dat voorspelde beeld gebruikt de robot op twee manieren. Het kan als richtpunt dienen: zo moet het eruitzien, dus welke beweging hoort daarbij? Het model kan ook een paar mogelijke bewegingen bedenken en dan kijken welke het dichtst bij het gewenste eindbeeld komt. Je kunt het vergelijken met een schaker die een paar zetten in gedachten uitprobeert voordat hij er één speelt.
Het model kan ook andersom werken. Het bekijkt een video van een robot en beschrijft in gewone taal wat die robot heeft gedaan.
Getest met fruit en blokken
Het model leerde van ongeveer 1,3 miljoen opnames van robots die taken uitvoeren, uit tientallen openbare verzamelingen. Daarna testten de onderzoekers het op een echte robotarm. De arm moest fruit verplaatsen, blokken op kleur sorteren en blokken stapelen, soms in een vaste volgorde van kleuren.
Gemiddeld lukte 78,4 procent van de taken. Bekende modellen van Nvidia en van het Amerikaanse bedrijf Physical Intelligence haalden in dezelfde tests tussen de 73 en 77 procent, volgens de onderzoekers. Het nieuwe model bleek ook veel sneller in het bedenken van bewegingen dan de versie waar het team mee begon.
In een simulatie viel nog iets op. Het model begreep ook opdrachten die niet letterlijk zeggen wat er moet gebeuren, zoals "pak de bloem die voor liefde staat". Een versie die alleen bewegingen had geleerd, deed dat minder goed. Door ook te leren hoe de wereld eruitziet, begrijpt het model dus beter wat er bedoeld wordt.
Volgende stappen
De tests zijn gedaan in simulaties en in vooraf ingerichte opstellingen in het lab. De onderzoekers willen het model nu testen met meer voorwerpen, taken en omgevingen. Daarna kijken ze naar toepassingen in magazijnen en fabrieken, en op langere termijn naar robots die chirurgen helpen.
Wat betekent dit voor de weg naar de singulariteit?
Robots die zich kunnen voorstellen wat er gaat gebeuren, zijn een belangrijke stap richting machines die zelfstandig in de echte wereld werken. Dat vermogen heet een wereldmodel: een innerlijk beeld van hoe dingen bewegen en op elkaar reageren. Dit onderzoek laat zien dat zo'n wereldmodel en het besturen van een robotarm goed in één AI-model passen, en dat ze elkaar zelfs versterken.
Er moet nog veel gebeuren voordat zulke robots in elk huis of elke fabriek werken: meer soorten taken, rommeligere omgevingen en veel meer oefening. Maar het idee dat een robot eerst 'droomt' hoe een taak afloopt en dan pas handelt, brengt robots weer een stukje dichter bij de manier waarop wij zelf de wereld begrijpen.
