EnglishOnderzoekers testen robotcode met AI-agents in simulaties
Onderzoekers van UC Berkeley en NVIDIA laten AI-agents robotprogramma's schrijven, testen en aanpassen in een virtuele omgeving. Volgens het team werkte de ontwikkelde code bij een proef ook op een echte robot.
Roboticaonderzoeker Ken Goldberg van de Universiteit van Californië in Berkeley (UC Berkeley) presenteert deze week een nieuwe manier om robots te programmeren. Hij doet dat samen met Spencer Huang, directeur roboticatechniek bij chipmaker NVIDIA, en een team van onderzoekers. Zij noemen hun aanpak ‘agentic robotics’: AI-agents, programma's die zelfstandig een reeks stappen uitvoeren, schrijven de besturingscode voor een robot, testen die in een nagebootste wereld en verbeteren de code als een taak mislukt.
Het team laat de resultaten van maanden testen zien op de Conference on Robot Learning (CoRL), een grote robotconferentie. Het geeft de software vrij als open broncode, gebouwd op Isaac, de open simulatiesoftware van NVIDIA. Ook brengt het een testreeks uit om robots te vergelijken bij industriële taken. Het onderzoek staat als preprint op arXiv: een artikel dat nog niet door andere wetenschappers is beoordeeld.
Twee lastige wegen
Volgens Goldberg en Huang omzeilt de aanpak twee problemen. Een robot laten leren van voorbeelden kost enorm veel trainingsgegevens en tijd. Een robot regel voor regel programmeren kost juist veel werk van ingenieurs. Het doel is programmeren sneller en flexibeler te maken, zonder de vaste structuur kwijt te raken die betrouwbare fabrieksrobots nodig hebben.
Bouwblokken in de computer
Eerder dit jaar begon het team met Graph-as-Policy. Dat systeem knipt een taak op in losse vaardigheden, zoals een voorwerp vinden, een greep plannen en de grijper bewegen zonder ergens tegenaan te botsen. Goldberg vergelijkt ze met bouwblokken die samen iets groters vormen. AI-agents maken die blokken en koppelen ze tot een programma. Daarna oefenen ze dat in de simulatie met allerlei varianten van de taak, zoeken waar het misgaat en passen het aan, voordat het programma op een echte robot komt.
Van een korte video naar een werkende robot
Goldbergs postdocs Eric Kaiyuan Chen en Shuangyu Xie gaven het AI-model Astra van OpenAI toegang tot hun simulatiesoftware en een korte video. Daarin veegde een echte robot met een spons inkt van een metalen staaf. Binnen een uur bouwde het model een natuurkundige simulatie die de video nauwkeurig nabootste, tot en met de manier waarop de spons vervormde. Met die simulatie en Graph-as-Policy schreef de AI daarna een besturingsprogramma en verbeterde dat steeds opnieuw. Toen de onderzoekers de code op een echte robot draaiden, werkte die.
Bij een andere poging duwde de robot de staaf om, omdat hij het gewicht ervan niet goed inschatte. Ook dat leverde iets op: de AI kon de video van die mislukking gebruiken om de simulatie en de code te verbeteren en een nieuwe aanpak te proberen. “Toen kreeg ik kippenvel”, zegt Goldberg.
Al in gebruik bij pakketrobots
Ambi Robotics, een bedrijf uit Berkeley dat robots maakt voor magazijnen, paste de methode eerder dit jaar toe op gegevens van het sorteren van pakketten en testte er nieuwe instellingen voor zijn robots mee. Volgens UC Berkeley sorteert elke robot daardoor meer dan 15.000 pakketten per jaar extra. De aanpassing draait inmiddels op 30 procent van de robots van het bedrijf in de Verenigde Staten. Dat cijfer komt van het bedrijf zelf.
De testreeks van het team heet VABAR en bevat zes industriële taken, zoals voorwerpen aan een wand hangen en kabels op verschillende manieren door een opstelling trekken. NVIDIA presenteerde deze testreeks op dezelfde conferentie, samen met nieuwe software voor robots; lees daarover ons artikel over GR00T 2.
Wat betekent dit voor de weg naar de singulariteit?
Hier schrijft AI niet alleen tekst of software, maar programma's voor machines in de echte wereld, en leert ze van haar eigen fouten: een mislukte poging wordt nieuwe informatie voor de volgende. Als AI-agents zo zelf robots kunnen bijstellen, hoeven ingenieurs niet meer elk gedrag met de hand af te stellen. Dat kan het tempo waarin robots nieuwe taken leren flink verhogen.
