Groot open AI-model van DeepSeek past nu op een computer met 128 gigabyte geheugen
Het nieuwe open AI-model van DeepSeek is te groot voor een gewone computer. Het bedrijf Unsloth maakte er een sterk verkleinde versie van die op een krachtige laptop of minicomputer met 128 gigabyte geheugen draait. Dat kost wat nauwkeurigheid.
Het Chinese AI-bedrijf DeepSeek bracht deze maand een nieuwe versie uit van zijn snelle model: DeepSeek V4.1 Flash 1017. Volgens DeepSeek is het een flinke verbetering bij programmeren en bij taken waarbij het model zelfstandig stappen zet. Op een test waarin een AI-model zelf opdrachten in een computerterminal moet uitvoeren, steeg de score volgens het bedrijf van 31 naar 42 punten.
Het model is open: iedereen mag het gratis downloaden en gebruiken, onder de ruime MIT-licentie. Alleen is het model enorm. Het heeft ruim 550 miljard parameters (de getallen waarin een AI-model zijn kennis opslaat), plus een apart geheugendeel van bijna 200 miljard. De volledige download is ruim 500 gigabyte. Zoiets draait normaal alleen in een datacenter.
Kleiner gemaakt, net als een foto
Het bedrijf Unsloth, dat open AI-modellen kleiner en sneller maakt, bracht op 19 oktober verkleinde versies uit. De kleinste is 233 gigabyte, minder dan de helft van het origineel. Dat lukt met een techniek die kwantiseren heet.
Een slimme truc helpt ook. Het aparte geheugendeel van het model, een soort naslagwerk van veelvoorkomende woordreeksen, hoeft niet in het werkgeheugen te staan. Het kan op de snelle opslagschijf (SSD) blijven. Daardoor heb je volgens Unsloth voor de kleinste versie ongeveer 128 gigabyte werkgeheugen nodig. Dat hebben de zwaarste laptops van Apple en minicomputers voor AI-ontwikkelaars, zoals de DGX Spark van Nvidia. Maar ook een flinke gaming pc kan eraan voldoen, mits die met 128 gigabyte RAM is uitgerust; voor de grotere versies is dat geheugen weer te weinig. Een aparte videokaart is niet verplicht: volgens de handleiding draait het model ook op de processor alleen, een videokaart gaat vooral om de snelheid. En die snelheid is de keerzijde: op thuishardware komen antwoorden aanzienlijk trager binnen dan je gewend bent van ChatGPT, dat draait op datacenters vol gespecialiseerde chips.
Wat lever je in?
Afronden kost nauwkeurigheid. Unsloth meet dat door het verkleinde model en het origineel dezelfde teksten te laten voorspellen. Bij een iets grotere versie van 250 gigabyte kiest het verkleinde model in ongeveer 87 tot 88 van de 100 gevallen hetzelfde volgende woord als het origineel. Bij de versie van ruim 500 gigabyte is dat 98 van de 100.
Dat zegt iets, maar niet alles. Het is een vergelijking op een paar testteksten, geen meting van hoe goed het model echte opdrachten uitvoert. Hoe de kleinste versies het doen bij programmeren en andere taken, gaan gebruikers en onafhankelijke testers nu uitzoeken.
Wat betekent dit voor de weg naar de singulariteit?
Een paar jaar geleden waren de beste AI-modellen alleen bereikbaar via de servers van een paar grote bedrijven. Nu kan iemand met één krachtige computer thuis een model draaien dat tot de sterkste open modellen ter wereld hoort. Dat betekent dat onderzoekers, kleine bedrijven en ziekenhuizen zo'n model kunnen gebruiken zonder hun gegevens naar buiten te sturen.
Elke stap in het verkleinen van modellen maakt slimme AI goedkoper en breder beschikbaar. En hoe meer mensen ermee kunnen experimenteren, hoe sneller er nieuwe toepassingen en verbeteringen komen. Als het verkleinen in hetzelfde tempo doorgaat, draait een model van dit niveau over een paar jaar misschien gewoon op een gewone laptop.
