Zelfstandige John Deere-loader leert in simulatie balanceren op twee wielen
Onderzoekers lieten een vijf ton zware John Deere-loader zelfstandig op twee wielen balanceren, draaien en over hobbels rijden. De besturing leerde dat in een computersimulatie, met anderhalf uur metingen aan de echte machine.
Een loader van vijf ton die op zijn voorwielen balanceert, kennen de meeste mensen alleen van shows van topbestuurders. Onderzoekers van de Zwitserse technische universiteit ETH Zürich lieten een John Deere 332G dat nu zonder bestuurder doen. De machine tilde haar achterkant op, bleef op twee voorwielen in balans, draaide om haar as, reed over hobbels en zwaaide met haar laadbak heen en weer. Daarna zette ze zichzelf weer zacht op vier wielen.
Het werk komt van het Robotic Systems Lab van ETH Zürich, samen met Blue River Technology (een dochterbedrijf van John Deere), het Zwitserse bedrijf Gravis Robotics en het Intelligent Systems Lab van Intel. Het verscheen in het vakblad Science Robotics. Volgens de onderzoekers lukten zulke manoeuvres tot nu toe alleen een klein aantal zeer ervaren bestuurders, bij officiële wereldrecordpogingen.
Een lastige machine om te besturen
De 332G is een schranklader: een compacte machine met vier wielen op vaste assen. Hij stuurt door de wielen links en rechts verschillend te laten draaien, zodat hij over de grond schuift en zo van richting verandert. De wielen worden hydraulisch aangedreven, dus met oliedruk. Hoe zo'n aandrijving precies reageert op een stuurcommando, is moeilijk uit te rekenen. En op een echte machine van vijf ton oefenen met vallen en opstaan is te gevaarlijk en te duur.
Eerst oefenen op de computer
Daarom maten de onderzoekers eerst ongeveer anderhalf uur hoe de wielen op allerlei stuurcommando's reageerden. Later kwamen daar twintig minuten metingen tijdens het balanceren bij. Met die metingen trainden ze een klein neuraal netwerk dat voorspelt hoe snel de wielen na een commando gaan draaien. Dat netwerk zat in een simulatie van de loader.
In die simulatie leerde de besturing met reinforcement learning: heel vaak proberen en beloond worden voor wat goed gaat. Om het verschil met de echte wereld te overbruggen, varieerden de onderzoekers onder meer de stand van de laadarm, eigenschappen van de machine en de gesimuleerde sensormetingen. Ze leerden aparte vaardigheden aan, zoals optillen, balanceren, rijden en landen, en schakelden op de echte machine tussen die vaardigheden.
Hetzelfde lab liet eerder een mensachtige robot ladders klimmen en na een val opstaan, ook na veel oefenen in een simulatie. Die robot leerde mee van opnames van bewegende mensen. Bij de loader kwamen de lessen alleen uit metingen aan de machine zelf.
De proeven
Of het optillen naar twee wielen lukt, hangt af van hoe hoog de laadarm staat. Bij een armhoek van 28 graden lukte het in alle 11 pogingen, bij 31 graden in alle 12. Bij 34 graden, de hoogste stand van de arm, lukte het 11 van de 14 keer; de andere drie keer raakte de laadbak de grond. De hoeken van 28 en 34 graden lagen buiten wat de besturing in de simulatie had geoefend.
De besturing had alleen op een vlakke ondergrond geoefend en wist niets van obstakels. Toch reed de loader op twee wielen vooruit en achteruit over hobbels van 75 centimeter hoog. Een bestaande regelmethode, die steeds vooruitrekent wat de machine moet doen, kwam niet over de eerste hobbel heen.
De machine voelde alleen hoe ze helde en hoe snel haar wielen draaiden. Camera's of een lidar, een sensor die met laserlicht de omgeving aftast, had ze niet. De besturing draaide op een gewone laptop met een Intel Core i7-processor, zonder grafische kaart. Voor de veiligheid had de loader achterop een beugel met een rol tegen achterover kantelen, en extra wieltjes naast de laadbak. Als volgende stap willen de onderzoekers camera's of lidar toevoegen, zodat de machine moeilijk terrein ziet aankomen, en de losse vaardigheden samenbrengen in één besturing.
Wat betekent dit voor de weg naar de singulariteit?
Robots leren al een paar jaar bewegingen in een simulatie, vooral lopende robots met elektromotoren. Nieuw is dat het ook werkt bij een zware machine met een hydraulische aandrijving die zich lastig laat voorspellen, en dat anderhalf uur meten aan de echte machine genoeg was. Bouw- en landbouwmachines verschillen per merk en type. Als elk type na een paar uur meten een eigen oefenkopie op de computer krijgt, kan een fabrikant een nieuwe besturing eerst duizenden keren virtueel uitproberen voordat een machine er de bouwplaats mee op gaat.
Wie zo sneller betere automatische besturingen maakt, zet andere fabrikanten onder druk om hetzelfde te doen. Een machine die zelf de lastige stukken van het werk doet, wordt dan gewoon. Komt er waarneming met camera's en lidar bij, dan kunnen zware machines een groter deel van het werk zelfstandig doen, ook op plekken die voor mensen gevaarlijk zijn. Mensen houden dan toezicht en doen het werk dat inzicht vraagt. Daarvoor moet zo'n machine wel veilig reageren op mensen in de buurt, en dat is de volgende stap om uit te werken en te testen.