Vier AI-agents spelen samen Minecraft uit met zelfgeschreven programma's
Vier AI-agents van Google DeepMind hebben Minecraft zelfstandig uitgespeeld. In ruim 27 uur verdeelden ze het werk via de chat, schreven ze 2.783 eigen programma's en versloegen ze de eindbaas. Ze speelden op de makkelijke stand, met software die precies vertelt wat er om hen heen is.
Een team van vier AI-agents heeft Minecraft van begin tot eind uitgespeeld, zonder dat een mens ingreep. Dat meldt Google DeepMind in een onderzoeksverslag. Een AI-agent is een AI-programma dat niet alleen antwoord geeft, maar zelf stappen zet om een doel te halen. Alle vier draaiden op Gemini 4 Argon, het nieuwste grote taalmodel van Google, dat sinds 13 oktober breed beschikbaar is.
Van het eerste programma tot de overwinning duurde het 27 uur en 14 minuten. In die tijd schreven de agents 2.783 programma's, stuurden ze elkaar 229 chatberichten en gingen ze 605 keer dood. Volgens de onderzoekers is dit, voor zover zij weten, de eerste keer dat AI-agents Minecraft helemaal zelfstandig uitspelen zonder hulpmiddelen die mensen speciaal voor het spel hebben gemaakt.
Spelen zonder scherm
In Minecraft verzamel je in een wereld van blokken grondstoffen, maak je gereedschap en versla je uiteindelijk een grote draak, de Ender Dragon. Daarvoor moet je een lange reeks stappen in de goede volgorde zetten: hout en ijzer verzamelen, diamanten vinden, een poort bouwen naar een gevaarlijke vuurwereld, daar spullen halen om een ondergronds fort te vinden, en via dat fort naar het eiland van de draak reizen. Daar wordt de draak steeds weer genezen door tien kristallen op hoge pilaren.
De agents keken niet naar een scherm en drukten geen toetsen in. Ze speelden via Mineflayer, een vrij beschikbaar softwarepakket waarmee een programma een Minecraft-figuur kan besturen. Een agent schreef steeds een kort programma, bijvoorbeeld "loop naar deze plek en hak al het ijzererts in de buurt", en las daarna de tekst die terugkwam: waar hij stond, hoeveel gezondheid hij nog had, wat hij had gevonden of welke fout er optrad. Daarop schreef hij het volgende programma. Mineflayer voert alleen simpele handelingen uit, zoals lopen, graven en aanvallen. Wat er moest gebeuren en in welke volgorde, bedachten de agents zelf.
Het spel stond op de makkelijke stand, in een willekeurig gemaakte wereld en met valsspeelopdrachten uitgeschakeld. Over het spel kregen de agents één alinea uitleg: versla de draak, en verdeel het werk zelf. Verder kregen ze dezelfde algemene werkafspraken als bij programmeerwerk, zoals: controleer of een actie gelukt is, maak herbruikbaar gereedschap en schrijf lessen op in een gedeeld geheugen.
Een team dat zichzelf organiseert
Tien minuten na de start stelde een van de agents in de chat een taakverdeling voor. Een tweede agent kwam binnen een minuut met een ander plan, en al snel lagen de rollen vast: één zocht eten, bedden en vuursteen, één dook de diepte in voor diamanten, één smolt ijzer en maakte gereedschap, en één bereidde de poort naar de vuurwereld voor. Binnen twee uur had het team ijzeren gereedschap, diamanten en een werkende poort.
Ook daarna werkten de agents als een team. Ze noteerden waar kisten, poorten en gevaren waren, en ze maakten van tegenslagen regels voor iedereen. Toen een vuurbal van een vijand een stapel gevallen spullen vernietigde, deelde een agent een les met de groep. Twee minuten later kwam een ander met de oorzaak en een oplossing. Ze bouwden ook hun eigen hulpmiddelen: 42 stukjes code die tussen programma's bleven bestaan, zoals een functie die een figuur in het water laat drijven.
Een slim moment was het zoeken naar het ondergrondse fort. In Minecraft vliegt een speciaal oog na het gooien in de richting van dat fort. Een agent gooide er twee vanaf verschillende plekken, volgde hun vlucht twintig keer per seconde en berekende waar de twee lijnen elkaar kruisten. Die schatting lag 1,3 kilometer van het dorp van het team, en zat maar 43 meter naast de echte ruimte met de poort naar de draak. Toen een agent daarna verdronk met alle twaalf benodigde ogen bij zich, gaven twee teamgenoten de precieze plek door, en het tijdstip waarop de spullen zouden verdwijnen. Een derde agent haalde ze op met tweeënhalve minuut over.
Ook eerlijkheid hoorde erbij. Toen het programma van een agent een succes meldde dat niet echt was gebeurd, corrigeerde die agent dat twee minuten later zelf.
Het gevecht met de draak
Het eindgevecht kostte de meeste tijd: bijna 14 uur, ongeveer de helft van de hele speelsessie. De draak versloeg de agents 69 keer. Tussen de pogingen door schreven ze regels op, zoals: wacht nooit op het platform waar je aankomt. Na ongeveer 21 uur kwam de doorbraak. Een agent zag dat de tien kristallen de draak steeds weer genazen, en bedacht een eenvoudige manier om erbij te komen: een torentje van aarde stapelen naast elke pilaar. In 4 uur en 40 minuten waren alle kristallen kapot, en 39 minuten later was de draak verslagen.
Ter vergelijking: een gewone speler doet volgens de site HowLongToBeat gemiddeld zo'n 45 uur over het uitspelen van Minecraft. De allersnelste spelers lukt het in minder dan zeven minuten.
Kosten en eerlijke kanttekeningen
Google schat de rekenkosten tot aan de overwinning op ongeveer 520 dollar (zo'n 450 euro). Dat is tegen de tijdelijke introductieprijs van Gemini 4 Argon, die tot 30 november geldt. Tegen de normale prijs zou het ongeveer 1.040 dollar zijn. Inclusief een vijfde agent die alles controleerde, en een extra dag spelen na de overwinning, komt de hele sessie op ongeveer 810 dollar, of 1.620 dollar tegen de normale prijs.
Die vijfde agent speelde zelf niet mee. Hij keek mee als onafhankelijke getuige en controleerde of de spelers niet valsspeelden of resultaten verzonnen. Hij vond daar geen aanwijzingen voor, en de onderzoekers ook niet bij hun eigen controle. Ze konden de sessie live volgen en stopzetten, maar dat was niet nodig.
De onderzoekers zijn open over de grenzen van hun resultaat. De software vertelt de agents precies welke blokken en wezens er om hen heen zijn, ook achter muren, en zoekt zelf een route om obstakels heen. Een menselijke speler moet dat allemaal zelf zien en inschatten. Op de makkelijke stand slaan vijanden minder hard. Gemini weet bovendien al veel over Minecraft uit de teksten waarmee het is getraind. Verder liep 22 procent van de programma's op een fout uit. Het ging om één speelsessie, de eerste die ze probeerden. Herhaling moet laten zien hoe vaak deze aanpak slaagt.
Anderen versloegen de draak al eerder met AI. In september lukte het één agent met Claude Opus 5 van Anthropic in bijna vier uur, met maar één keer doodgaan en omgerekend ongeveer 93 dollar aan rekenkosten. Die agent kreeg wel 37 kant-en-klare hulpmiddelen speciaal voor Minecraft, zoals een opdracht om een fort te zoeken, en speelde op de normale stand. Een ander project gebruikte een vaste, vooraf bekende wereld op een stand zonder vijanden. Het verschil bij DeepMind zit vooral in wat de agents níet kregen: geen uitleg over het spel, geen route en geen hulpmiddelen van mensen. Alles wat ze gebruikten, schreven ze zelf.
Wat betekent dit voor de weg naar de singulariteit?
Minecraft is hier het oefenterrein, niet het doel. Google wil laten zien dat een algemeen AI-model, dat niet voor dit spel is gemaakt, meer dan een dag lang aan één doel kan blijven werken, door duizenden stappen en honderden mislukkingen heen, en daarbij kan samenwerken met andere agents. Dat is precies wat nodig is voor groot werk in de echte wereld, zoals het bouwen en onderhouden van ingewikkelde software.
Het opvallendste is hoe menselijk die samenwerking eruitzag: taken verdelen, lessen delen, elkaars spullen redden en eigen fouten rechtzetten. Niemand had de agents dat voorgeschreven. Er valt nog veel te winnen, want 605 keer doodgaan laat zien dat ze vooral leren door veel te proberen. Maar elke mislukking werd een regel die het team daarna verder hielp. Als zulke teams straks dagen of weken zelfstandig aan een softwareproject of onderzoeksvraag werken, en elkaar daarbij controleren zoals de vijfde agent hier deed, kan het tempo van vooruitgang flink omhoog. De volgende stap is laten zien dat het ook lukt zonder het volledige overzicht dat de software nu geeft, en bij taken die de AI nog niet uit zijn training kent.
