EnglishBenchmark
Een benchmark is een vaste toets waarmee je AI-modellen met elkaar vergelijkt. Elk model maakt dezelfde opgaven, en de score laat zien wat het wel en nog niet kan.
Een benchmark is een meetlat voor AI. Onderzoekers verzinnen een verzameling opgaven, laten elk model die maken en tellen de goede antwoorden. Omdat iedereen dezelfde toets krijgt, kun je modellen eerlijk vergelijken. Het is te vergelijken met een eindexamen: alle leerlingen maken dezelfde vragen, en de cijfers zijn vergelijkbaar.
Hoe werkt het?
Een benchmark heeft drie onderdelen: de opgaven, een manier om het antwoord na te kijken en een score. Soms is de opgave een meerkeuzevraag. Soms is het een heel werkproces. Bij de GDPx-toets van onderzoeksbureau SemiAnalysis moet een model bijvoorbeeld urenlang aan de slag in een nagebootste werkplek, met echte programma's en duizenden bestanden. Het beste model haalde daar een score van 12 procent (link).
Een goede benchmark moet moeilijk genoeg blijven. Als de beste modellen bijna de hoogste score halen, kan de toets geen verschil meer laten zien tussen nieuwe modellen. Daarom komen er steeds nieuwe, zwaardere toetsen. Ook is het belangrijk dat de opgaven niet online staan, zodat een model ze niet al kent.
Waarom het ertoe doet
Benchmarks zijn de manier waarop je vooruitgang kunt volgen. Bij bijna elk nieuw model horen scores, en die geven snel een indruk van waar het model sterk in is. Een benchmark meet wel één ding. Wie wil weten of een model geschikt is voor het eigen werk, kijkt welke taken de toets echt meet. Soms komen de scores bovendien van het bedrijf zelf, of van een toets die nog niet door anderen is herhaald.
Een voorbeeld van een toets die iets nieuws meet is TasteVal. Daarop kwam een AI-model met betere proefopzetten voor AI-onderzoek dan de beste van 24 menselijke experts, in minder dan de helft van de rekentijd (link). Zo'n resultaat laat zien hoe snel modellen beter worden in een stuk werk waarmee AI zichzelf kan verbeteren.
Artikelen over Benchmark
-
Muse en Meta AI krijgen nieuwe modellen die beter onthouden en doorzetten
Meta rolt nieuwe modellen uit in zijn AI-assistent Muse en in Meta AI, getraind met behulp van zijn krachtigste model Muse Wonder. Volgens het bedrijf vergeten ze belangrijke informatie 2,4 keer minder vaak en maken ze taken beter af als er iets misgaat.
-
GPT-6 Cyber vond 81 ernstige lekken in Firefox en bouwde 948 testaanvallen op Linux
OpenAI's beveiligingsmodel GPT-6 Cyber vond volgens het bedrijf 81 ernstige lekken in Firefox en bouwde in een testomgeving 948 werkende aanvallen op lekken in Linux. Mozilla bracht al veel reparaties uit, en ook bij Linux is het herstel begonnen.
-
Nieuw AI-geheugen vat een hele stapel documenten per vraag samen in 16 tokens
Onderzoekers van onder meer Stanford maakten Memorilla: een geheugen dat per vraag een hele documentenverzameling samenvat in 16 tokens. In hun eigen proeven scoort een taalmodel daarmee meestal beter dan met alle tekst erbij, en het antwoordt veel sneller. Exacte namen raken soms verloren.
-
Thinking Machines Lab brengt Inkling 2 Small uit, open versie volgt na veiligheidstests
Het AI-bedrijf van oud-OpenAI-topvrouw Mira Murati heeft zijn tweede generatie modellen gestart met Inkling 2 Small. Het model werkt nu via het eigen platform Tinker. Volgende week wil het bedrijf het vrijgeven, als de externe veiligheidstests zijn afgerond.
-
NVIDIA geeft snelle planner voor robotarmen vrij: route in gemiddeld 4,4 milliseconde
NVIDIA-onderzoekers hebben cuRoboV2-Fast vrijgegeven, software die uitrekent hoe een robotarm beweegt zonder iets te raken. In hun eigen tests duurde dat gemiddeld 4,4 milliseconde. Op een echte robot werd een ronde werk ruim een derde korter dan met de voorganger.
-
OpenAI lanceert GPT-6 Cyber: beter in het vinden van lekken, minder snel buiten de lijntjes
OpenAI brengt een nieuwe cybersecuritymodel uit dat volgens het bedrijf veel beter kwetsbaarheden vindt en minder vaak ongevraagd systemen binnendringt. Tegelijk rolt het bedrijf GPT-6 Sol en Luna uit naar alle ChatGPT-gebruikers.
-
Baidu geeft groot AI-model ERNIE 5.5 Flash Base vrij, maar niet voor Europa
Het Chinese techbedrijf Baidu heeft een groot AI-model vrijgegeven dat ontwikkelaars zelf verder kunnen trainen. Het model is snel en zuinig gebouwd en scoort volgens Baidu goed in tests. De licentie geldt alleen niet in de EU, het Verenigd Koninkrijk en Zuid-Korea.
-
Klein open AI-model leest tekst voor op je telefoon, zonder internet
Het AI-bedrijf Gradium heeft Phonon open uitgebracht: kleine modellen die tekst met een natuurlijke stem voorlezen, volledig op een telefoon, laptop of in de browser. Op een openbare ranglijst van Hugging Face hoort Phonon bij de best verstaanbare voorleesmodellen.
-
Unsloth maakt groot open AI-model van Alibaba kleiner en volgens eigen tests nauwkeuriger dan anderen
Unsloth heeft nieuwe, kleinere versies uitgebracht van Qwen3.8-Flash-Next, een groot open AI-model van Alibaba. Volgens eigen tests maken ze gemiddeld 15 procent betere scores dan andere ingekrompen versies. Zo kunnen meer mensen het model op hun eigen computer draaien.
-
Tencent brengt Hy4 uit: open AI-model dat beelden begrijpt en een computer bedient
Het Chinese Tencent heeft Hy4 uitgebracht, een groot taalmodel dat voor het eerst afbeeldingen begrijpt en zelf een computer kan bedienen. Volgens Tencent verzint het veel minder dan de vorige versie. De modelbestanden komen de komende dagen vrij beschikbaar.
-
Klein open AI-model van Xpeng ziet beter waar dingen staan dan GPT-6 Astra
Autobouwer Xpeng en universiteiten hebben GroundingPI uitgebracht, een open AI-model dat robots en auto's helpt precies te zien waar dingen staan. Op 34 tests scoort het volgens de makers gemiddeld iets hoger dan OpenAI's veel grotere GPT-6 Astra.
-
OpenAI zet zijn AI in voor hardwareontwerp: van 3D-ontwerp tot printplaat
OpenAI laat zien hoe ChatGPT en Codex ingenieurs helpen bij het ontwerpen van fysieke producten. Twee medewerkers lieten het model GPT-6 Astra in minder dan een week een werkend prototype ontwerpen. Om het in de fabriek te laten maken, waren daarna nog enkele controlerondes door mensen nodig.
-
Anthropic bouwt FlashProve: cryptografisch bewijs welk AI-model een antwoord produceerde
Anthropic publiceerde FlashProve, een open-source onderzoeksprototype dat met zero-knowledge-cryptografie aantoonbaar maakt welk model een antwoord genereerde, zonder de modelgewichten vrij te geven.
-
Chinees bedrijf geeft AI-model voor scheikunde vrij, getraind op eigen labwerk
Het Chinese Deep Principle heeft Hydrogen-1.0 vrijgegeven, een AI-model voor scheikunde en materiaalonderzoek dat iedereen mag downloaden. Het leerde ook van mislukte proeven uit het eigen lab. De prestaties zijn nog door het bedrijf zelf gemeten.
-
Nieuwe test met echt vakwerk: beste AI-model haalt 12 procent
Onderzoeksbureau SemiAnalysis liet AI-modellen urenlang werken in nagebootste werkplekken, van chipontwerp tot beurshandel. Claude Opus 5.5 kwam bovenaan met een score van 12 procent. Zo zie je precies waar AI al ver is en wat de volgende stap is.
