EnglishNieuwe software laat robots razendsnel zien met een camera die werkt als een oog
Onderzoekers van de University of Pennsylvania maken een bijzonder snel cameratype eindelijk makkelijk bruikbaar voor robots. Hun software zet de signalen tot 440 keer per seconde om in een beeld waar een robot mee verder kan, ook 's nachts.
Een gewone camera maakt foto na foto, bijvoorbeeld dertig keer per seconde. Voor een robot die snel moet reageren, is dat soms te traag: tussen twee beelden kan er al veel gebeurd zijn. Bovendien gaat het mis in het donker of bij fel tegenlicht, en snelle bewegingen worden wazig.
Er bestaat al jaren een ander soort camera die werkt zoals het netvlies van ons oog: een zogenoemde event-camera. Die maakt geen complete foto's. Elk beeldpuntje meldt zelf, op het moment zelf, dat het licht daar feller of donkerder wordt. Zo ziet de camera bewegingen vrijwel meteen, zonder wazige vegen, ook bij weinig licht.
Het probleem: zo'n camera levert geen gewone beelden, maar een stroom van tientallen miljoenen losse meldingen per seconde. Daar kan bestaande software voor robots niets mee. Voor elke taak, zoals afstanden schatten of zien wat er beweegt, moest iemand een eigen, speciale rekenmethode bouwen. Daardoor bleven deze camera's grotendeels in het lab.
Eén vertaalslag voor alles
Ingenieurs van de University of Pennsylvania (Penn) hebben daar een algemene oplossing voor gemaakt. Hun methode heet Fast Feature Field, kortweg F³. Het onderzoek staat in het vakblad Science Robotics.
Volgens de onderzoekers kwam de doorbraak toen ze een neuraal netwerk (een AI-systeem dat leert van voorbeelden) lieten oefenen met één opdracht: voorspel welke meldingen de camera straks geeft, op basis van de meldingen van zojuist. Om dat goed te kunnen, moet het netwerk leren hoe de omgeving eruitziet én wat daarin beweegt, legt eerste auteur en promovendus Richeek Das uit.
Wat het netwerk zo leert, zet F³ om in een soort beeld met meerdere lagen. Dat is de vertaalslag: daarna kan software die al voor gewone camera's bestaat, met een kleine aanpassing ook met de event-camera werken. Er is dus geen aparte methode per taak meer nodig.
Alleen rekenen waar iets gebeurt
De eerste versie was te traag om direct mee te sturen. De oplossing zat in een eenvoudige constatering: op ongeveer 95 procent van de plekken in het beeld gebeurt op een bepaald moment niets. F³ rekent daarom alleen op de plekken waar wel iets verandert.
Zo verwerkt F³ de meldingen van een camera met HD-kwaliteit 120 keer per seconde, en bij een lagere beeldkwaliteit zelfs 440 keer per seconde. Taken als afstanden schatten en bepalen wat waar in beeld is, lukken daarmee 25 tot 75 keer per seconde in HD. Volgens de onderzoekers is dat ongeveer twee tot vijf keer sneller dan eerdere methoden voor deze camera's, en presteren ze op meerdere van die taken het best van alle bekende methoden.
Getest op een auto, een robothond en een drone
Het team testte F³ met opnamen van een auto, een vierpotige robot en een vliegend platform, overdag en 's nachts, binnen en buiten, in de stad en in het terrein. Volgens de onderzoekers kan F³ 's nachts afstanden en objecten herkennen, veel sneller dan een gewone camera of een laserscanner, terwijl het systeem niet speciaal op nachtbeelden was getraind.
Samen met promovendi Dexter Ong en Ioannis Asmanis bouwt het team nu drones die met deze camera's zelfstandig door rommelige, slecht verlichte ruimtes vliegen. De volgende stap is F³ direct in de camera zelf te laten draaien, zodat die meteen bruikbare beelden levert. Het doel is dat een event-camera net zo makkelijk te gebruiken wordt als een gewone camera, zegt hoofdonderzoeker Pratik Chaudhari, universitair hoofddocent aan Penn. Medeauteur Kostas Daniilidis vergelijkt F³ met JPEG voor foto's: een gemeenschappelijke taal waardoor allerlei software met deze camera's kan werken.
Wat betekent dit voor de weg naar de singulariteit?
Robots die zelfstandig tussen mensen werken, moeten snel en betrouwbaar zien, ook als het donker is of als er iets onverwachts gebeurt. Event-camera's kunnen dat al lang, maar elke robot had er eigen software voor nodig. F³ maakt van die camera een gewoon onderdeel dat elke robotbouwer kan gebruiken. Als de methode straks in de camera zelf zit, kunnen drones, robots en voertuigen sneller reageren dan met gewone camera's. Dat brengt robots die veilig door onze drukke, rommelige wereld bewegen weer een stap dichterbij.
