Benchmark

Een benchmark is een vaste toets waarmee je AI-modellen met elkaar vergelijkt. Elk model maakt dezelfde opgaven, en de score laat zien wat het wel en nog niet kan.

Een benchmark is een meetlat voor AI. Onderzoekers verzinnen een verzameling opgaven, laten elk model die maken en tellen de goede antwoorden. Omdat iedereen dezelfde toets krijgt, kun je modellen eerlijk vergelijken. Het is te vergelijken met een eindexamen: alle leerlingen maken dezelfde vragen, en de cijfers zijn vergelijkbaar.

Hoe werkt het?

Een benchmark heeft drie onderdelen: de opgaven, een manier om het antwoord na te kijken en een score. Soms is de opgave een meerkeuzevraag. Soms is het een heel werkproces. Bij de GDPx-toets van onderzoeksbureau SemiAnalysis moet een model bijvoorbeeld urenlang aan de slag in een nagebootste werkplek, met echte programma's en duizenden bestanden. Het beste model haalde daar een score van 12 procent (link).

Een goede benchmark moet moeilijk genoeg blijven. Als de beste modellen bijna de hoogste score halen, kan de toets geen verschil meer laten zien tussen nieuwe modellen. Daarom komen er steeds nieuwe, zwaardere toetsen. Ook is het belangrijk dat de opgaven niet online staan, zodat een model ze niet al kent.

Waarom het ertoe doet

Benchmarks zijn de manier waarop je vooruitgang kunt volgen. Bij bijna elk nieuw model horen scores, en die geven snel een indruk van waar het model sterk in is. Een benchmark meet wel één ding. Wie wil weten of een model geschikt is voor het eigen werk, kijkt welke taken de toets echt meet. Soms komen de scores bovendien van het bedrijf zelf, of van een toets die nog niet door anderen is herhaald.

Een voorbeeld van een toets die iets nieuws meet is TasteVal. Daarop kwam een AI-model met betere proefopzetten voor AI-onderzoek dan de beste van 24 menselijke experts, in minder dan de helft van de rekentijd (link). Zo'n resultaat laat zien hoe snel modellen beter worden in een stuk werk waarmee AI zichzelf kan verbeteren.

Artikelen over Benchmark

Modellen 3 nov

Meituan brengt LongCat-2.5 uit: multimodaal agentenmodel van 1,6 biljoen parameters, getraind op Chinese chips

Het Chinese bedrijf Meituan bracht op 2 november LongCat-2.5 uit, een groot AI-model dat tekst en beeld verwerkt en lange programmeertaken zelfstandig kan uitvoeren. Volgens Meituan is het volledig getraind op Chinese chips en haalt het in tests bijna het niveau van Claude Opus 5.
Modellen 2 nov

Ontwikkelaar bouwt een complete processor in de gewichten van een AI-taalmodel

Ontwikkelaar Divyansh Agrawal bouwde een complete processor in de gewichten van het taalmodel Qwen 3.5. Het model rekent daardoor in zijn tests bijna foutloos, zonder hulpmiddel van buitenaf. Het is nog een langzaam experiment, maar alles staat openbaar online.
Modellen 29 okt

Mistral maakt reusachtig AI-model vrij beschikbaar, sterk in programmeren en beveiliging

Het Franse Mistral zet Mistral Large 4, bijnaam Le Chonk, gratis online: een model met een biljoen parameters dat iedereen kan downloaden en met genoeg computers zelf kan draaien. Volgens het bedrijf is het het beste open model voor programmeren en voor het beveiligen van software.
Modellen 29 okt

Nvidia brengt gratis spraakmodel uit dat opnames in 40 talen uitschrijft, vertaalt en sprekers herkent

Nvidia heeft een open spraakmodel uitgebracht dat in één keer uitschrijft, vertaalt en aangeeft wie er praat. Het gebruikt per stap maar een klein deel van zijn rekenkracht en draait op één grafische kaart, zonder cloud. De prestatiecijfers komen voorlopig van Nvidia zelf.
Modellen 28 okt

Google presenteert Gemini 4 Carbon: sterker in het vinden en dichten van beveiligingslekken

Twee weken na Gemini 4 Argon komt Google DeepMind met Carbon, volgens Google zijn sterkste AI-model tot nu toe. Het blinkt uit in computerbeveiliging en lange klussen. Eerst krijgen beveiligingsexperts toegang.
Modellen 27 okt

Nieuw middelgroot model van OpenAI bedient zelf de computer, voor de helft van de prijs

OpenAI heeft GPT-6.1 Terra uitgebracht, het op een na kleinste model uit zijn reeks. Het bedient programma's op de computer beter dan zijn voorganger, verzint veel minder vaak een antwoord en kost per opdracht minder dan een derde. Voorlopig is het er alleen voor betalende gebruikers.
Onderzoek 26 okt

AI-model ontwerpt experimenten beter dan 24 ervaren AI-onderzoekers

Op een nieuwe toets van P-Zero Research ontwerpt Claude Opus 5.5 betere AI-experimenten dan de beste van 24 menselijke experts. Het model heeft daarvoor minder dan de helft van de rekentijd nodig en kost ongeveer een dertigste.
Modellen 23 okt

Chinees AI-model Kimi K3.1 Pro staat vierde in onafhankelijke ranglijst

Kimi K3.1 Pro van het Chinese Moonshot AI staat vierde in de onafhankelijke ranglijst van Artificial Analysis, vóór de nieuwste modellen van OpenAI en Google. Vooral bij zelfstandig computerwerk ging het vooruit. Moonshot wil het model uiterlijk 4 november vrijgeven.
Onderzoek 23 okt

AI van Microsoft stelt in simulatie vaker de juiste diagnose dan huisartsen

Volgens een studie van Microsoft in het vakblad Science vond het AI-systeem MAI-DxO bij 83 procent van moeilijke ziektegevallen de juiste diagnose, tegen 36 procent voor artsen. Nu volgt een test met echte patiënten.
Modellen 22 okt

Gratis programmeermodel voor de laptop is grotendeels door AI zelf ontwikkeld

Het AI-bedrijf Recursive heeft Flint uitgebracht, een gratis AI-model dat helpt bij programmeren en op een gewone laptop draait. Volgens het bedrijf deed zijn eigen onderzoeks-AI een groot deel van het werk: een eerste stap richting AI die zichzelf verbetert.
Modellen 20 okt

AI-model Mercury 3 schrijft ruim duizend woorddelen per seconde door de hele tekst tegelijk te maken

Het Amerikaanse Inception heeft Mercury 3 uitgebracht, een taalmodel dat niet woord voor woord schrijft maar een hele tekst in een paar stappen scherp stelt. Volgens het bedrijf is het daardoor vier tot acht keer zo snel als vergelijkbare modellen.
Modellen 19 okt

Chinees bedrijf MiniMax brengt snel en goedkoop AI-model uit voor agents

Het Chinese AI-bedrijf MiniMax heeft M3.1 Flash uitgebracht, een model voor AI-agents die zelfstandig taken uitvoeren. Volgens MiniMax is het bijna drie keer zo snel als zijn voorganger en kost een agenttaak 70 procent minder. Onafhankelijke tests volgen nu.
Onderzoek 19 okt

Verzonnen bedrijfsdata met een bekend antwoord leren AI-agents beter analyseren

Onderzoekers van Meituan en Chinese universiteiten bouwen nepwerelden vol rommelige bestanden, waarvan ze precies weten wat erachter zit. Zo kun je controleren of een AI-agent echt de goede conclusie trekt. Een model dat ermee oefende, werd duidelijk beter in data-analyse.
Modellen 14 okt

Gemini 4 Argon breed beschikbaar: Google terug bij de koplopers

Google heeft Gemini 4 Argon breed uitgerold. Op papier wint het van GPT-6 Astra en Claude Opus 5.5 op 13 van 19 benchmarks, maar onafhankelijke metingen zetten het naast de concurrentie, niet erboven. De grootste sprong zit in prijs, lange context en wetenschap.
Onderzoek 9 okt

AI-agent lost 49 van 50 nieuwe onderzoeksproblemen in de theoretische natuurkunde op

Een AI-agent op basis van GPT-6 Astra loste 49 van 50 ongepubliceerde natuurkundeproblemen op, voor minder dan 3 dollar per stuk. Het gaat om zwaar rekenwerk waar een topexpert een dag mee bezig is. De onderzoekers zien vooral een krachtige rekenassistent.