AI-model van OpenAI levert 372 wiskundige resultaten, wiskundigen beginnen aan de controle

Begin oktober heeft OpenAI in één keer 372 resultaten over open vragen in de wiskunde en de theoretische informatica openbaar gemaakt. Theoretische informatica is de wiskunde achter computers en rekenmethoden. Volgens het bedrijf lost elk resultaat een belangrijk open probleem op, of komt het er een flink stuk dichterbij. De resultaten staan in ruim 700 wetenschappelijke manuscripten, die OpenAI op het ontwikkelaarsplatform GitHub heeft gezet in plaats van in vakbladen.

Het nieuws kwam ongeveer een maand nadat OpenAI claimde dat hetzelfde interne model het beroemde Navier-Stokes-probleem had opgelost, een van de grootste open vragen in de wiskunde. Die oplossing wordt formeel beoordeeld. Wiskundigen zijn onder de indruk van wat er nu bij komt, en willen tegelijk precies weten hoe het is gemaakt.

Eén opdracht in plaats van een zwerm

Volgens een woordvoerder van OpenAI kwam bijna elk resultaat uit één opdracht aan één AI-agent. Een AI-agent is een AI-programma dat zelfstandig een taak in stappen uitvoert. Die agent draait op een nieuw model dat nog niet openbaar is. Sommige resultaten hadden misschien meer pogingen nodig, voegde de woordvoerder eraan toe. Gemiddeld kostte een resultaat volgens OpenAI zo'n drie uur rekenwerk.

Dat is een groot verschil met de Navier-Stokes-oplossing. Die kwam volgens het bedrijf van een zwerm van 10.000 samenwerkende agents en kostte miljoenen dollars aan rekenkracht. Als de nieuwe claim klopt, kan zulke wiskundige rekenkracht straks voor veel meer mensen bereikbaar worden.

Wat OpenAI zegt te hebben bewezen

Wiskundigen die Scientific American sprak, wezen een aantal resultaten aan als de belangrijkste. Het gaat in alle gevallen om claims van OpenAI die nog worden beoordeeld.

• Priemgetallen. De Riemann-hypothese geldt als het moeilijkste open probleem in de wiskunde. Ze gaat over de plekken waar een ingewikkelde formule op nul uitkomt, en die plekken vertellen veel over de priemgetallen. Het model bewees volgens OpenAI een zwakkere versie, de quasi-Riemann-hypothese. Volgens de Chileense wiskundige Hector Pasten is die voor veel toepassingen al ruim genoeg. Zo weten wiskundigen nu beter dan ooit hoe de priemgetallen verdeeld zijn. Een tweede resultaat sluit een bijzonder lastig soort nulpunt uit, het zogeheten Siegel-nulpunt. Volgens Pasten is die vraag daarmee beslist.
• Vergelijkingen sorteren. Hilberts tiende probleem vraagt of een computer alle eenvoudige vergelijkingen kan verdelen in twee stapels: met en zonder een oplossing in hele getallen. In 1970 werd bewezen dat dat niet kan. Het model bewees volgens OpenAI dat het ook niet kan als breuken als oplossing zijn toegestaan. Pasten noemt de aanpak origineel. Het model combineerde twee van zijn eigen ideeën op een manier die hij zelf niet had gezien.
• Een draaiend krijtje. Stel je voor dat je een krijtje over een bord schuift en draait, zodat het in elke richting heeft gewezen, met zo weinig mogelijk krijt op het bord. Dat is het Kakeya-vermoeden. De driedimensionale versie leverde deze zomer een Fields-medaille op, de hoogste prijs in de wiskunde. Het model loste volgens OpenAI de versie in vier dimensies op.
• Sneller rekenen met tabellen. Computers rekenen voortdurend met matrices: tabellen vol getallen. Dat gebeurt bij computergraphics, simulaties en ook bij het trainen van AI. Hoeveel rekenwerk het vermenigvuldigen van twee matrices kost, hangt af van een getal dat wiskundigen de exponent noemen. Met de schoolmethode is dat 3; hoe lager het getal, hoe minder rekenwerk bij grote tabellen. Onderzoekers kregen het een paar jaar geleden omlaag tot ongeveer 2,37. OpenAI claimt nu 2,25.
• Natuurkunde en quantumcomputers. Een aantal papers gaat over een vereenvoudigd natuurkundig model, het niet-lineaire sigmamodel. Volgens Michael Douglas van Harvard University geldt dat als de opwarmer voor het Yang-Mills-probleem. Dat is een van de grote prijsvragen van de wiskunde, over de wiskundige basis van de deeltjesnatuurkunde. Een ander resultaat geeft aanwijzingen dat moeilijke problemen voor quantumcomputers niet veel moeilijker zijn dan moeilijke problemen voor gewone computers.

Controle door computer en mens

Veel bewijzen zijn al gecontroleerd in Lean, een programmeertaal waarmee een computer de logica van een bewijs nakijkt. OpenAI wil meer bewijzen op die manier laten controleren. Dat is ook nodig, want zoveel resultaten tegelijk kunnen wiskundigen nooit allemaal met de hand nalopen. Niet alle bewijzen zijn al gecontroleerd. Een paar resultaten zijn ingetrokken nadat wetenschappers van buiten OpenAI er fouten in vonden.

De beoordeling door mensen gaat maanden duren. Wiskundigen willen weten of de bewijzen echt nieuwe ideeën bevatten of vooral bekende technieken slim combineren. Bij het sigmamodel lopen de oordelen uiteen. Roland Bauerschmidt van New York University vindt het eerste paper heel redelijk. Over de latere papers is hij veel minder te spreken: die vindt hij zo onduidelijk dat zelfs een expert ze moeilijk kan controleren. Volgens de woordvoerder begrijpen ook de wiskundigen van OpenAI zelf veel van de nieuwe resultaten nog niet helemaal.

Openheid gevraagd

Wiskundige Andrew Sutherland van het Massachusetts Institute of Technology (MIT) vindt dat claims over resultaten uit één opdracht als onbevestigd moeten gelden. Dat blijft zo tot het model openbaar is en anderen de resultaten kunnen herhalen. Volgens hem moeten wiskundigen om bewijsstukken vragen.

Na de discussie over de Navier-Stokes-oplossing stelde OpenAI op 21 september een onafhankelijke adviesgroep van wiskundigen in. Die adviseert bedrijven om per resultaat het model, de precieze opdracht en de gebruikte rekentijd openbaar te maken. OpenAI volgt dat deels. Het bedrijf deelt een gemiddelde rekentijd en enkele statistieken, maar geen opdrachten. Volgens de woordvoerder neemt OpenAI de richtlijnen serieus en doet het zijn best om ze te volgen, al is het er niet aan gebonden. Het bedrijf zegt ook dat het werkt aan een zo snel en verantwoord mogelijke vrijgave van het model. Daarnaast wil OpenAI workshops en conferenties betalen waarop wiskundigen de AI-resultaten samen kunnen bestuderen.

De reacties lopen uiteen. Daniel Litt van de University of Toronto ziet geen reden om de antwoorden geheim te houden en noemt de publicatie goed voor de wiskunde. Terence Tao, een van de bekendste wiskundigen ter wereld, heeft kritiek op het in zijn woorden waanzinnige tempo van AI-labs. In een open brief waarschuwden 25 winnaars van de Fields-medaille dat het in de wiskunde uiteindelijk om begrip en inzicht gaat, niet alleen om het oplossen van problemen.

Intussen pakt OpenAI het al anders aan. Op 26 oktober meldde het bedrijf drie nieuwe resultaten in wiskunde, informatica en natuurkunde. Daarbij kwamen er geen honderden papers tegelijk online: bekende wetenschappers begeleiden vanaf het begin de controle en mogen vrij publiceren wat ze vinden. Dat komt tegemoet aan de roep om openheid van wiskundigen als Sutherland.

Wat betekent dit voor de weg naar de singulariteit?

Als de claims standhouden, kan AI nu in korte tijd wiskundig werk leveren waar mensen jaren op vastliepen. Volgens experts had een aantal van deze resultaten een jaar geleden een menselijke onderzoeker een topprijs kunnen opleveren. Dat het grootste deel volgens OpenAI uit één opdracht aan één agent kwam, en niet uit een dure zwerm, wijst op een model dat zelf veel slimmer is geworden.

Eén resultaat raakt AI zelf. Als matrixvermenigvuldiging echt minder rekenwerk kost, kan dat AI op termijn sneller maken. MIT-onderzoeker Virginia Vassilevska Williams merkte half schertsend op dat je de vooruitgang kunt zien als een poging van AI-modellen om zichzelf te versnellen.

De volgende stap ligt bij de mensen. Computercontrole met Lean, een openbaar model en tijd voor wiskundigen om de nieuwe ideeën echt te begrijpen moeten laten zien welke doorbraken blijven staan. Lukt dat, dan krijgen onderzoekers een krachtig nieuw gereedschap in handen.

Wat is de technologische singulariteit? Lees de uitleg →