Gratis tools halen rem van Nvidia-videokaarten: tot twee keer zoveel AI-rekenkracht
Gratis open-source tools halen een rem weg die Nvidia in de firmware van GeForce-videokaarten heeft gezet. Voor AI-rekenwerk worden sommige kaarten tot twee keer zo snel. In de praktijk is de winst kleiner, en de tools zijn nog experimenteel.
Wie thuis met AI werkt, gebruikt vaak een videokaart uit de GeForce-reeks van Nvidia. Die kaarten hebben speciale rekenkernen voor AI, de zogeheten Tensor Cores. Ze doen het rekenwerk waar neurale netwerken op draaien: enorme aantallen vermenigvuldigingen. Maar bij een veelgebruikte soort AI-berekening werken die kernen op GeForce-kaarten op ongeveer halve snelheid. Nvidia houdt de volle snelheid voor zijn veel duurdere kaarten voor professionals, terwijl de rekenkernen van de consumentenkaarten daar volgens de modders ook toe in staat zijn.
Modders hebben die rem nu weggehaald met gratis open-source tools. De tools zetten twee instellingen op de kaart om, nog voordat het stuurprogramma van Nvidia (de driver) wordt geladen. Aan de driver of de eigen software van de kaart verandert niets. De aanpassing is tijdelijk: na het uitschakelen van de computer is hij weer weg.
Tot twee keer zo snel rekenen
Het eerste project, gpu-unlock van ontwikkelaar Zagitta, werkt onder Linux en is bedoeld voor de RTX 30-serie. Andere ontwikkelaars maakten vergelijkbare tools voor de RTX 20- en RTX 40-serie. Het project van Zagitta kreeg in de eerste acht dagen bijna 6.800 sterren op GitHub, een teken dat veel mensen het interessant vinden.
De metingen van de ontwikkelaars laten grote sprongen zien. Rekenkracht wordt gemeten in TFLOPS: biljoenen berekeningen per seconde. Een RTX 4090 ging van 165,6 naar 331,6 TFLOPS, precies het dubbele. Een RTX 2080 Ti ging van 46,9 naar 93,7 TFLOPS. Bij de RTX 3090 Ti hangt de winst af van het soort getallen waarmee wordt gerekend: van 87,5 naar 157,4 TFLOPS bij de ene soort, en naar 118,4 TFLOPS bij de andere.
In de praktijk minder winst
Bij echt gebruik is de winst kleiner en hangt hij af van de taak. Op een RTX 3090 Ti werd het maken van beelden met het programma ComfyUI 47 tot 59 procent sneller. Een AI-taalmodel las een vraag 14 tot 36 procent sneller in. Het schrijven van het antwoord, woord voor woord, ging bijna niet sneller. Daarbij is niet het rekenen de beperking, maar hoe snel de kaart gegevens uit zijn geheugen haalt. Gamers hebben niets aan de tools.
Sinds 24 oktober is er ook een versie voor Windows, gemaakt door GitHub-gebruiker impacifist. Die start als los programmaatje vóórdat Windows opstart. Gebruikers moeten het bij elke start van de computer met de hand kiezen. De maker heeft de Windows-versie nog maar op één computer getest, met een RTX 3090.
Kanttekeningen
De tools zijn nog in ontwikkeling. Ze werken niet op elke kaart: bij een speciale RTX 3080 Ti met 20 gigabyte geheugen bleef de rem gewoon zitten. In het slechtste geval start de computer niet meer op, en een aanpassing als deze kan de garantie kosten. Hoe de kaarten zich houden als ze lange tijd op volle kracht draaien, is nog niet onafhankelijk onderzocht. Voor de nieuwste RTX 50-serie bestaat nog geen werkende versie. Nvidia heeft nog niet gereageerd.
Wat betekent dit voor de weg naar de singulariteit?
Hoeveel AI je thuis kunt draaien, hangt sterk af van hoeveel rekenkracht je per euro krijgt. Deze tools halen meer uit kaarten die mensen al in huis hebben. Dat past bij een bredere beweging om krachtige AI op eigen apparatuur te laten werken. Eerder maakte het bedrijf Unsloth een grote AI van DeepSeek zo klein dat hij op een computer met 128 gigabyte geheugen past. Daar was het geheugen de grens; hier is het de rekensnelheid. Hoe meer van die grenzen verdwijnen, hoe meer onderzoekers, studenten en hobbyisten zelf met AI kunnen werken, zonder dure huur van rekenkracht in de cloud. Nu is het afwachten hoe Nvidia reageert.
