EnglishOnderzoeksbureau METR: Anthropic verbetert zijn AI-modellen waarschijnlijk twee keer zo snel als eerder
METR keek elf weken mee bij Anthropic en schat dat het bedrijf zijn modellen nu ongeveer twee keer zo snel verbetert, vermoedelijk vooral doordat AI meehelpt aan het onderzoek. De onzekerheid is groot en veel bewijs blijft geheim.
Helpt AI al mee om AI sneller beter te maken? Het is een van de grootste vragen op weg naar de singulariteit, want dan kan de vooruitgang zichzelf versterken. De non-profitorganisatie METR, die AI-modellen beoordeelt, heeft daar nu een schatting voor één bedrijf gepubliceerd.
Een klein team van METR keek van 12 augustus tot 29 oktober mee bij Anthropic, het bedrijf achter de AI-assistent Claude. De meeste medewerkers van METR die eraan werkten, denken nu dat Anthropic zijn modellen op duidelijk omschreven taken ongeveer twee keer zo snel verbetert als tussen maart 2024 en oktober 2025. In één jaar komt er dan ongeveer evenveel vooruitgang bij als eerder in twee jaar.
De onzekerheid is groot. Het zou de onderzoekers niet verbazen als het tempo eerder 1,3 keer of 3 keer zo hoog ligt, en ook in het team was men het niet over alles eens.
Waar het cijfer vandaan komt
Het belangrijkste bewijs is een interne meetlat van Anthropic, de AECI. Dat is de eigen versie van een index van Epoch AI die bijhoudt wat AI-modellen kunnen. Op die meetlat gaat de groei sinds oktober 2025 volgens METR 1,9 keer zo snel als daarvoor. Waarschijnlijk ligt dat tussen 1,5 en 2,8 keer.
De tests op zo'n meetlat zijn vaak makkelijk automatisch na te kijken. Echt werk is rommeliger, en METR weet nog niet hoe de versnelling daar uitpakt. Ook groeide Anthropic vóór eind 2025 op deze meetlat langzamer dan de koplopers in de sector, wat een deel van de versnelling kan verklaren.
AI als hulp bij het eigen onderzoek
METR kreeg overtuigend bewijs dat de versnelling niet komt doordat Anthropic sneller meer rekenkracht in zijn training stopt. Dat bewijs is niet openbaar. De beste schatting van het team is dat de meerderheid van de huidige versnelling, misschien ongeveer 80 procent daarvan, komt door het vele gebruik van AI in het onderzoek bij Anthropic. Ook onder medewerkers van Anthropic was daar geen overeenstemming over. Bij de versnelling eind 2025 speelden andere oorzaken waarschijnlijk een grote rol. METR keek onder meer naar nieuw personeel, data en nieuwe algoritmes.
AI werkt daarbij vooral als hulpmiddel. Volledig zelfstandig levert het nog geen grote bijdrage aan de belangrijkste onderdelen van het trainen van een model. Wel zagen onderzoekers duidelijke tekenen dat dit snel kan veranderen.
In peilingen op de interne chat schatten medewerkers dat het nieuwste model hen in oktober bij hun werk 12 keer zo snel maakte. METR noemt dat zeer los bewijs, omdat mensen er weinig over nadachten. Ook zegt zo'n persoonlijk getal iets anders dan het tempo van het hele bedrijf: in interviews lagen de schattingen daarvoor rond de 2 keer.
Geen rem in zicht, maar wel een waarschuwing
METR zag geen bewijs voor grote knelpunten in rekenkracht, data of algoritmes die de komende twaalf maanden de groei afremmen. Het team is daar niet zeker van: zijn beeld veranderde tijdens de beoordeling meerdere keren en het kan dingen hebben gemist. METR ziet ook een serieus risico dat de vooruitgang het komende jaar nog verder versnelt.
Veel bewijs blijft geheim
Anthropic gaf METR ongekende toegang tot interne gegevens, maar mocht niet-openbare informatie ook zelf uit het rapport schrappen. Dat gebeurde met een meerderheid van het bewijs dat METR het belangrijkst vond. Anthropic wilde zo vertrouwelijke informatie afschermen die andere AI-bedrijven sneller zou kunnen maken. Daardoor moeten lezers meer op het oordeel van METR vertrouwen dan ideaal is, schrijft de organisatie zelf.
Anthropic stopte halverwege ook een geplande controle van hoeveel rekenkracht het aan veiligheid en hoeveel aan betere modellen besteedt. Het bedrijf wilde de beoordeling voorlopig op risico's richten en wil later op die controle terugkomen. Eerder was er al kritiek op de financiële banden tussen METR en Anthropic. Voor deze beoordeling nam METR geen betaling aan, maar kreeg het wel gratis gebruik van de AI-modellen.
Wat betekent dit voor de weg naar de singulariteit?
AI die helpt om betere AI te maken, is de kern van het idee achter de singulariteit. Dit rapport geeft daarvoor een concrete schatting van binnenuit, voor één bedrijf en met een grote foutmarge. De volgende stap is dat zulke metingen vaker worden gedaan, bij meer bedrijven en met meer openbaar bewijs, zodat iedereen kan volgen hoe snel het echt gaat.
