OpenAI publiceert 719 wiskundige manuscripten van een nog niet uitgebracht AI-model

OpenAI heeft op 6 oktober een grote reeks wiskundige resultaten openbaar gemaakt die zijn voortgebracht door een intern frontiermodel dat nog niet is uitgebracht. De catalogus telt 719 manuscripten (bij de release werden er nog 722 gemeld), gegroepeerd in 372 zogeheten resultaatfamilies: clusters van verwante papers over hetzelfde probleem. Volgens AGMAI bevat de release oplossingen voor 'honderden' open vragen. De naam van het model maakt OpenAI niet bekend.

AGMAI staat voor Advisory Group on Mathematics and Artificial Intelligence. De groep werd op 21 september aangekondigd en is ondergebracht bij het Institute for Advanced Study in Princeton. Het initiatief kwam van OpenAI, dat enkele wiskundigen benaderde voor een externe adviesraad; zij kozen ervoor een onafhankelijke groep op te richten. De negen leden, onder wie Fields-medaillewinnaars Timothy Gowers en Martin Hairer en natuurkundige Edward Witten, worden niet betaald.

Wat is er vrijgegeven?

De resultaten werden al weken verwacht. Op 21 september zei OpenAI dat het model 'meer dan 100 al lang openstaande problemen' had opgelost 'in de meeste gebieden van de wiskunde', zonder te zeggen om welke problemen het ging of wanneer de publicatie zou volgen.

De manuscripten staan in de GitHub-repository openai/math, onder een Apache 2.0-licentie. Volgens OpenAI kreeg het model ongeveer 4.000 problemen voorgelegd. Gemiddeld kostte een resultaat rekenkracht vergelijkbaar met drie uur 'denken' van ChatGPT Pro met dit interne model. Daarnaast zijn er ingekorte samenvattingen van de redeneringen van het model voor tien van de 372 families en geaggregeerde statistieken.

Voor een deel van de resultaten is een formeel bewijs in de bewijsassistent Lean meegeleverd, maar niet voor alle. OpenAI erkent in de repository zelf dat 'sommige niet-geformaliseerde resultaten problemen kunnen bevatten'. Correcties verschijnen als nieuwe versies, waarbij eerdere versies zichtbaar blijven. Het bedrijf zegt ook te kijken naar alternatieven die door de wiskundige gemeenschap worden gehost, en belooft de kwaliteit van toekomstige papers te verbeteren, onder meer qua citaties, wiskundige uitleg en presentatie.

Richtlijnen en discussie

AGMAI publiceerde eind september de eerste aanbevelingen. AI-laboratoria moeten wiskundige resultaten snel vrijgeven, waar mogelijk via gevestigde academische kanalen, en melden welk model is gebruikt, met welke prompts en tegen welke rekenkosten. De groep riep bedrijven ook op om zulke releases niet als marketinginstrument voor hun modellen in te zetten, omdat dat volgens AGMAI de wiskundige gemeenschap aanzienlijke schade berokkent.

OpenAI volgt die aanbevelingen niet volledig: het noemt het gemiddelde rekenverbruik en het aantal geprobeerde problemen, maar publiceert de prompts en de rekenkosten per probleem niet. AGMAI benadrukt zelf dat zijn adviserende rol niet moet worden opgevat als een oordeel over de betekenis van de resultaten.

Hoe groot de impact is, wordt pas duidelijk als wiskundigen de manuscripten hebben beoordeeld; geen van de resultaten is al door vakgenoten getoetst. De release komt bovenop een snel groeiende stroom wiskundige claims van OpenAI en concurrenten zoals Anthropic. Zo claimde OpenAI begin september een voorgestelde oplossing voor het Navier-Stokes-probleem, een van de Millennium Prize-problemen; ook die claim is nog niet bevestigd. De snelheid waarmee AI-bedrijven dit jaar de wiskunde zijn binnengestapt, en vooral hun manier van aankondigen, leidt tot felle discussie over onderzoekspraktijken, ethiek en de erkenning van de menselijke wiskundigen op wier werk de systemen voortbouwen.

Wat betekent dit voor de weg naar de singulariteit?

Wiskunde is een van de weinige vakgebieden waar een resultaat in principe sluitend te controleren is. Als een model werkelijk honderden open vragen oplost, laat dat zien dat AI zelfstandig onderzoek van niveau kan leveren: een stap richting systemen die de wetenschap, en uiteindelijk hun eigen ontwikkeling, versnellen. Dat blijft voorlopig een als, want de beoordeling door wiskundigen moet nog komen. Het nieuws legt wel een knelpunt bloot: de productie van resultaten groeit sneller dan het vermogen van mensen om ze te toetsen, te citeren en netjes toe te schrijven. Formele bewijzen in Lean kunnen een deel van dat werk overnemen, maar alleen als de formele stelling ook echt zegt wat de menselijke versie beweert, en ook dat moet een mens controleren.