AI-model ontwerpt experimenten beter dan 24 ervaren AI-onderzoekers
Op een nieuwe toets van P-Zero Research ontwerpt Claude Opus 5.5 betere AI-experimenten dan de beste van 24 menselijke experts. Het model heeft daarvoor minder dan de helft van de rekentijd nodig en kost ongeveer een dertigste.
Wie een AI-model wil verbeteren, doet experimenten: je past iets aan, traint het model opnieuw en kijkt of het beter werkt. Rekenkracht is duur, dus het komt aan op goed kiezen. Welk experiment probeer je eerst, en wat leer je van de uitkomst? Onderzoekers noemen dat gevoel voor goede experimenten "onderzoekssmaak".
Het kleine onderzoeksbureau P-Zero Research heeft die smaak nu gemeten met een nieuwe toets, TasteVal. Het paper verscheen begin oktober 2026. Het beste resultaat kwam van Claude Opus 5.5 van Anthropic. Volgens de onderzoekers ontwerpt dat model op deze toets betere experimenten dan ervaren menselijke AI-onderzoekers.
Hoe de toets werkt
TasteVal bestaat uit acht nieuwe onderzoekstaken die nergens online staan, zodat een model de antwoorden niet al kan kennen. De taken gaan bijvoorbeeld over het kiezen van goede trainingsdata, het trainen en bijschaven van taalmodellen en het beter bestand maken van een model tegen misleidende vragen.
Het geteste model mag zelf geen code schrijven. Het werkt als onderzoeker: het bedenkt experimenten en trekt conclusies uit de resultaten. Een vaste programmeerhulp, het oudere model Opus 4.8, voert alles uit. Zo meet de toets het onderzoeksinzicht en niet het programmeerwerk. Elke poging krijgt één krachtige AI-chip (een Nvidia H100) en mag die hooguit 40 uur laten rekenen, binnen in totaal 120 uur.
Daarna deden 24 menselijke experts dezelfde taken. Ze hadden ervaring bij onder meer OpenAI, Google DeepMind, Nvidia, Microsoft Research en de Universiteit van Oxford. Per taak telt de beste menselijke poging als lat.
Minder rekentijd, veel lagere kosten
De onderzoekers drukken het resultaat uit in rekentijd. Opus 5.5 haalde dezelfde score als de beste expert met ongeveer 43 procent van de rekentijd die die expert nodig had. Dat is 2,3 keer zo zuinig. De onzekerheid is nog groot: de echte waarde ligt volgens de onderzoekers ergens tussen 1,15 en 4,4 keer. Een poging van het model kostte gemiddeld 282 dollar, tegen ruim 9.100 dollar voor een menselijke expert. Dat is ongeveer een dertigste.
In totaal testte het team twintig modellen uit 2023 tot en met 2026. Daaruit blijkt hoe snel het gaat. Sinds december 2025 verdubbelt de voorsprong in rekentijd ongeveer elke drie maanden. Daarvoor duurde dat ongeveer veertien maanden. Kijk je alleen naar de kale score, zonder rekentijd mee te tellen, dan zie je die versnelling niet: die verdubbelde de hele periode ongeveer elke vijftien maanden.
Wat de toets niet meet
De onderzoekers benoemen zelf de grenzen. De taken zijn snel en goedkoop na te kijken, en echt onderzoek is vaak rommeliger. Het kiezen van een goede onderzoeksvraag meet de toets niet: de vraag ligt steeds al vast. Op een andere toets van Anthropic, TASTE, moeten modellen kiezen welk van twee onderzoeksvoorstellen het meest belooft. Daar scoorde het beste model in augustus ongeveer 60 procent, tegen naar schatting 77 procent voor mensen. Op dat punt hebben menselijke onderzoekers dus nog een duidelijke voorsprong.
Ook ander onderzoek laat zien dat AI nog niet zelfstandig grote onderzoeksprojecten trekt. Bij een toets van Epoch AI kregen AI-agenten 3.000 uur rekentijd om een recente trainingsmethode zelf opnieuw te bedenken. Het beste resultaat haalde een klein deel van wat de menselijke onderzoekers hadden bereikt.
Jack Clark, medeoprichter van Anthropic, schreef op 12 oktober in zijn persoonlijke nieuwsbrief Import AI dat TasteVal zijn verwachting bijstelt. Hij acht het nu waarschijnlijker dat AI al in 2027 zelf een sterkere opvolger kan ontwikkelen, en niet pas in 2028. Clark werkt bij het bedrijf achter het winnende model; de toets zelf komt van het onafhankelijke P-Zero Research.
Wat betekent dit voor de weg naar de singulariteit?
Als AI zelf beter AI-onderzoek gaat doen, kan de vooruitgang zichzelf versnellen. TasteVal meet voor het eerst met cijfers een belangrijk stuk van dat werk: experimenten slim kiezen en de uitkomsten goed lezen. Daarin zit een model nu op het niveau van de beste menselijke experts, tegen een fractie van de kosten. De volgende stappen zijn duidelijk: een tweede onderzoeksgroep die het resultaat herhaalt, en toetsen voor wat nu nog niet gemeten is, zoals het kiezen van de juiste vraag en het plannen van langere onderzoeksprojecten.
