EnglishNieuwe test met echt vakwerk: beste AI-model haalt 12 procent
Onderzoeksbureau SemiAnalysis liet AI-modellen urenlang werken in nagebootste werkplekken, van chipontwerp tot beurshandel. Claude Opus 5.5 kwam bovenaan met een score van 12 procent. Zo zie je precies waar AI al ver is en wat de volgende stap is.
Onderzoeksbureau SemiAnalysis heeft een nieuwe test voor AI-modellen uitgebracht: GDPx. Die test stelt een model niet één losse vraag, maar zet het urenlang aan het werk in een nagebootste werkplek, met echte programma's en duizenden bestanden. Het beste model, Claude Opus 5.5 van Anthropic, haalde een score van 12 procent. SemiAnalysis publiceerde de uitslag op 2 november.
Waarom een nieuwe test?
Veel bekende AI-tests zijn bijna "vol": de beste modellen halen er al bijna de hoogste score. Volgens een studie op het AI-congres ICML 2026 geldt dat voor bijna de helft van zestig onderzochte tests. Zo'n test kan dan geen verschil meer laten zien tussen de nieuwste modellen.
Een bekende test van OpenAI, GDPval uit september 2025, geeft het model bovendien alle informatie in één opdracht. Volgens SemiAnalysis meet dat slecht hoe een AI-agent werkt. Een agent is een AI die zelf stappen zet: bestanden opzoekt, programma's gebruikt en zijn eigen werk controleert, zoals een medewerker dat doet.
Hoe GDPx werkt
GDPx bestaat uit 206 taken in elf vakgebieden, waaronder chipontwerp, financiën, recht, beurshandel, digitale beveiliging, biologie en materiaalkunde. In één vakgebied moet de AI zelf AI-systemen verbeteren. Veertien gespecialiseerde bedrijven bouwden de werkplekken. Een taak mag meestal hooguit acht uur duren. Elk model doet elke taak drie keer. De eindscore is het gemiddelde over de elf vakgebieden, die allemaal even zwaar tellen.
De financiële taak is nagebouwd op een echte overname: een investeerder kocht een snackfabrikant voor 880 miljoen dollar (ongeveer 760 miljoen euro). Het model moet daarbij de cijfers van het bedrijf doorlichten in zo'n 4.000 bestanden, met de namen onherkenbaar gemaakt. De juridische taak, gebouwd door Chakra Labs met juristen van grote Amerikaanse advocatenkantoren, vraagt om commentaar en wijzigingen in een investeringscontract.
De uitslag
Claude Opus 5.5 kwam bovenaan met 12,0 procent. Gemini 4 Carbon van Google haalde 10,9 procent, ruim 90 procent van de score van Opus, voor ongeveer een derde van de kosten: 16,29 dollar per taak tegenover 51,41 dollar. Gemini 4 Carbon is nog niet voor iedereen beschikbaar. GPT-6 Astra van OpenAI werd derde met 9,6 procent. Het Chinese GLM 5.3 sloot de ranglijst af met 2,7 procent.
Financiën en recht bleken het lastigst. In 25 pogingen loste geen enkel model de openbare financiële taak helemaal op; de beste poging haalde 8 van de 11 controles. De modellen gaven vaak voorrang aan een document dat een getal het duidelijkst noemde, in plaats van aan het document dat het zwaarst telt. Zo kon een verouderd advies het uiteindelijk getekende contract overstemmen. Bij de juridische taak leverde geen van de 20 pogingen een bruikbaar contract op. De beste poging, van Opus 5.5, kwam wel op 57 procent van de punten.
Elk model heeft zijn eigen sterke kant. Opus 5.5 won bij beurshandel, chipontwerp en hardwareontwerp. GPT-6 Astra won in materiaalkunde en in het vakgebied waarin AI zelf AI verbetert. Gemini 4 Carbon was het best in biologie.
Kanttekeningen
Bij digitale beveiliging, biologie en het testen van gedragsregels slaan de veiligheidsfilters van Opus 5.5 en GPT-6 Astra soms aan. Die filters zijn bedoeld om misbruik te voorkomen, maar kosten in deze test punten. SemiAnalysis maakte daarom ook een aparte ranglijst zonder die drie vakgebieden.
In het onderdeel over gedragsregels keken de onderzoekers ook of agents zich aan de regels van hun opdracht houden. Bij tien beveiligingstaken overtrad de AI in 196 van de 200 pogingen minstens één regel. SemiAnalysis telt daarin ook taken mee waarin geen regels waren gegeven. Volgens het bureau gaat dit onderdeel over gedrag, niet over vaardigheid.
GDPx is een test van SemiAnalysis zelf en is nog niet door anderen herhaald. Sommige sectoren, zoals de overheid, vastgoed en verzekeringen, zitten er bewust niet in. Het bureau wil elke drie tot zes maanden een nieuwe versie uitbrengen, met meer taken.
Wat betekent dit voor de weg naar de singulariteit?
GDPx meet iets waar het om draait: kan AI zelfstandig het werk van een vakspecialist doen, van begin tot eind? Het antwoord is nu: soms, en in een klein deel van de taken. Daardoor is er een meetlat met veel ruimte naar boven, waarop je de komende jaren kunt zien hoe snel agents beter worden. Dat GPT-6 Astra al voorop loopt in het vakgebied waarin AI zelf AI verbetert, maakt het extra interessant om de volgende versies te volgen. Want AI die beter wordt in het verbeteren van AI, kan de vooruitgang zelf versnellen.
