EnglishNVIDIA geeft vier AI-modellen vrij waarmee robots en zelfrijdende auto's oefenen in een nagebootste wereld
Met vier nieuwe Cosmos 3-modellen kunnen onderzoekers en bedrijven video maken van een nagebootste wereld die reageert op wat een robot of auto doet. De modellen zijn vrij te downloaden. De volgende stap is meten waar ze betrouwbaar genoeg zijn.
Een robot of zelfrijdende auto leert door veel te oefenen, maar oefenen in de echte wereld is traag en duur en lastige situaties komen er weinig voor. Daarom laten bedrijven hun systemen ook oefenen in een nagebootste wereld. Zo'n AI-model heet een wereldmodel: het maakt de beelden die de machine zou zien en laat die wereld reageren op wat de machine doet.
NVIDIA heeft begin november vier nieuwe wereldmodellen vrijgegeven. Ze horen bij Cosmos 3, de modelfamilie van het bedrijf, en zijn alle vier verder getrainde versies van Cosmos 3 Nano. Iedereen mag ze downloaden, en de licentie staat ook commercieel gebruik toe.
Vier modellen, vier taken
Twee modellen zijn gemaakt voor auto's, twee vooral voor robots.
- Transfer-Auto maakt oefenmateriaal voor zelfrijdende auto's. Het maakt beelden van maximaal elf camera's tegelijk en metingen van lidar, een laser die de afstand tot alles rond de auto meet. Met één opdracht wordt een rit overdag een rit in de regen bij nacht, met dezelfde weg en dezelfde auto's.
- Sim-Auto maakt zulke beelden in kleine stukjes achter elkaar, zodat een rijsysteem kan reageren en meteen de gevolgen van zijn keuze ziet.
- Sim-Transfer maakt van de eenvoudige beelden uit een natuurkundesimulator echt ogende video. De simulator berekent hoe alles beweegt, het model zorgt voor het uiterlijk.
- Sim-Bimanual voorspelt wat een robot met twee armen straks ziet als hij beweegt. Het model kan worden aangestuurd door een AI-programma of door een mens met joysticks, en werkt voor twee typen robots, YAM en AgiBot.
Snel genoeg om mee te reageren
Een machine die oefent, moet de gevolgen van zijn beweging meteen zien, want daar hangt zijn volgende keuze van af. Sim-Bimanual haalt volgens NVIDIA 48 beelden per seconde op één krachtige chip, met 166 milliseconden vertraging, in 480p-kwaliteit. Sim-Auto vraagt meer rekenkracht: 17 beelden per seconde voor zeven camera's plus lidar, op 16 chips, ook in 480p.
Ook de beeldkwaliteit is volgens NVIDIA beter. Sim-Bimanual scoort hoger dan DreamDojo, een ander model, op twee testsets met robotbeelden. Sim-Transfer volgt de vormen uit de simulator nauwkeuriger dan het gewone Cosmos 3-model: de fout in de afstanden in het beeld is 26,5 procent kleiner. Die cijfers komen van NVIDIA zelf.
NVIDIA publiceert ook de stappen van zijn trainingsmethode. Eén stap traint het model op zijn eigen eerdere voorspellingen. Anders kunnen kleine fouten zich volgens NVIDIA in latere beelden opstapelen.
Baidu liet deze week zien hoe zo'n wereld eruit kan zien voor robotaxi's: bij het Chinese bedrijf zijn de andere weggebruikers AI-programma's die zelf beslissen. De modellen van NVIDIA kan iedereen zelf downloaden, en ze zijn er ook voor robots.
NVIDIA noemt het zelf nog steeds moeilijk werk. De volgende stap is meten waar de modellen betrouwbaar genoeg zijn om robots mee te trainen en te testen, en ze verbeteren waar ze tekortschieten.
Wat betekent dit voor de weg naar de singulariteit?
Elke machine die in de echte wereld werkt, moet eerst veel oefenen. Wereldmodellen die reageren op wat een machine doet, kunnen dat oefenen sneller maken. Doordat NVIDIA de modellen en de trainingsmethode openlijk deelt, kunnen ook anderen zulke werelden bouwen en hun resultaten met elkaar vergelijken. Dat kan het trainen en testen van robots versnellen, voordat ze de echte wereld in gaan.
