Chinees AI-model Kimi K3.1 Pro staat vierde in onafhankelijke ranglijst
Kimi K3.1 Pro van het Chinese Moonshot AI staat vierde in de onafhankelijke ranglijst van Artificial Analysis, vóór de nieuwste modellen van OpenAI en Google. Vooral bij zelfstandig computerwerk ging het vooruit. Moonshot wil het model uiterlijk 4 november vrijgeven.
Het Chinese AI-bedrijf Moonshot AI heeft op 23 oktober Kimi K3.1 Pro uitgebracht. Het meetbureau Artificial Analysis test AI-modellen zelf, steeds met dezelfde reeks van tien proeven op het gebied van programmeren, redeneren, wetenschap en zelfstandig werk op de computer. Het nieuwe model komt in die ranglijst meteen op de vierde plaats.
Kimi K3.1 Pro haalt 55 punten. Alleen drie modellen scoren hoger: Claude Opus 5.5 (58) en Claude Sonnet 5.5 (56) van Anthropic, en Muse Wonder Full (56) van Meta. GPT-6 Astra van OpenAI en Gemini 4 Argon van Google komen allebei uit op 53 punten.
Hetzelfde model, veel meer training
K3.1 Pro is geen nieuw, groter model. Het is Kimi K3, dat Moonshot in juli uitbracht, met veel extra training erbovenop. Moonshot liet het model in honderden vakgebieden oefenen met opdrachten, waarbij het werd beloond als het een taak goed uitvoerde. De omvang bleef gelijk: 2,8 biljoen parameters, de getallen waarin een AI-model vastlegt wat het heeft geleerd. Voor elk stukje tekst gebruikt het daar 104 miljard van.
Toch steeg de score van 44 naar 55 punten. Volgens Artificial Analysis haalt op dit moment geen enkel ander model zoveel uit zijn omvang.
Grootste winst bij zelfstandig werk
De grootste sprong zit in taken die het model zelfstandig en stap voor stap uitvoert, met programma's en bestanden op een computer. Dat is het werk van zogeheten AI-agents.
- In een test met echte werkopdrachten uit allerlei beroepen staat K3.1 Pro nu derde, achter Claude Opus 5.5 en Muse Wonder Full.
- Op Terminal-Bench 4.0 doet een AI programmeerwerk door opdrachten in te typen, zoals een ontwikkelaar dat doet. Daar ging de score van 13 naar 67,2 procent. Artificial Analysis heeft geen enkel model gemeten dat hoger scoort. Moonshot kwam in een eigen meting uit op 65,7 procent, net onder Claude Opus 5.5.
- Bij het automatiseren van werk in zakelijke onlinesoftware ging de score van 58 naar 73 procent.
Op kennis- en redeneertoetsen is de vooruitgang kleiner. Op Humanity's Last Exam, een verzameling uiterst moeilijke vragen van experts uit veel vakgebieden, steeg de score van 47 naar 52 procent. Wel verzint het model minder vaak een antwoord. Als het een vraag niet goed beantwoordt, geeft het nu in 44 procent van de gevallen een fout antwoord in plaats van toe te geven dat het iets niet weet. Bij K3 was dat 53 procent.
Dezelfde kosten per taak
Het nieuwe model schrijft per taak wat meer tekst: gemiddeld 14 procent meer. Moonshot heeft zijn prijzen tegelijk met een derde verlaagd. Daardoor kost een taak uit de testreeks vrijwel hetzelfde als bij K3: 1,98 dollar tegenover 2,00 dollar.
Ontwikkelaars betalen bij Moonshot 2 dollar per miljoen tokens (stukjes tekst van een paar letters) die ze naar het model sturen, en 10 dollar per miljoen tokens die het model terugschrijft. K3.1 Pro kan heel lange teksten in één keer verwerken, tot een miljoen tokens, en begrijpt ook afbeeldingen.
Vrij te downloaden vanaf uiterlijk 4 november
Op dit moment werkt K3.1 Pro alleen via Moonshot zelf: in de Kimi-apps, in het programmeerhulpmiddel Kimi Code en via een koppeling voor ontwikkelaars. Moonshot belooft de zogeheten gewichten uiterlijk 4 november vrij te geven. Dat is het complete getrainde model. Bedrijven en onderzoekers kunnen het dan downloaden en op hun eigen servers laten draaien, zoals eerder met Kimi K3 gebeurde.
Volgens Artificial Analysis wordt K3.1 Pro dan het sterkste open model op de ranglijst. Het verschil tussen het beste open model en het beste gesloten model slinkt daarmee van 12 naar 3 punten.
Bewust minder hackvaardigheden
Moonshot zegt dat het voor de open versie bewust heeft ingegrepen in wat het model kan bij het kraken van software. Tijdens de training zag het bedrijf dat het model steeds beter werd in het vinden en misbruiken van beveiligingslekken. Daarom haalde het trainingsmateriaal over cyberaanvallen weg, en liet het gewone programmeertaken staan.
In een eigen test met echte, bekende lekken loste een versie zonder die ingreep 90,5 procent van de opdrachten op. Het uitgebrachte model haalde 81 procent, wat nog steeds veel meer is dan K3 (33,3 procent). Volgens Moonshot blijft het model op dit gebied achter bij de sterkste gesloten modellen. Het bedrijf ziet het ook als hulp voor verdedigers: met een open model kunnen veel meer teams hun eigen software op lekken laten controleren.
Kanttekeningen
De ranglijst van Artificial Analysis vat tien proeven samen in één getal. Op losse proeven komen andere metingen soms tot andere uitkomsten, zoals bij Terminal-Bench 4.0. Een deel van de cijfers die Moonshot zelf noemt, zoals over minder fouten bij financieel werk en de hacktest, komt uit eigen tests van het bedrijf. Zodra de gewichten beschikbaar zijn, kunnen onafhankelijke onderzoekers die zelf nagaan.
Wat betekent dit voor de weg naar de singulariteit?
Dit is een stap op de weg naar AI die beter en zelfstandiger wordt. Het opvallendste is hoe de vooruitgang tot stand kwam: niet met een groter model, maar met veel meer gerichte training van hetzelfde model. Dat laat zien dat er in bestaande modellen nog veel ruimte zit, vooral voor zelfstandig werk op de computer.
Komen de gewichten op 4 november inderdaad vrij, dan kunnen onderzoekers en bedrijven wereldwijd een model gebruiken dat dicht bij de wereldtop staat, op hun eigen apparatuur. Zo komt wat nu bij een handvol bedrijven ligt, steeds sneller binnen bereik van iedereen die ermee wil bouwen en onderzoeken.
