Kwantiseren

Een AI-model bestaat uit miljarden getallen, de parameters. Daarin zit alles wat het model heeft geleerd. Normaal wordt elk getal heel precies opgeslagen, met veel cijfers achter de komma. Kwantiseren is die getallen afronden, zodat elk getal minder ruimte inneemt. Het model wordt daardoor veel kleiner.

Je kunt het vergelijken met een foto die je verkleint om hem te mailen. Het bestand wordt flink kleiner en op het oog lijkt de foto bijna hetzelfde. Pas als je inzoomt, zie je wat er verloren is gegaan.

Hoe werkt het?

Hoe sterker je afrondt, hoe kleiner het model en hoe groter het verschil met het origineel. Een model dat eerst honderden gigabytes besloeg, kan zo op minder dan de helft van de ruimte. Een trucje daarbij is om gevoelige onderdelen minder fors af te ronden dan de rest, zodat het verlies beperkt blijft.

Hoeveel er verloren gaat, meet je door het verkleinde model en het origineel dezelfde opdrachten te geven en de antwoorden te vergelijken. Een score op een paar testteksten zegt iets, maar niet alles over hoe het model echte taken doet.

Waarom het ertoe doet

Zo komen grote modellen binnen bereik van gewone hardware. Het open model van DeepSeek is ruim 500 gigabyte groot en draait normaal alleen in een datacenter. Het bedrijf Unsloth maakte er een sterk verkleinde versie van, die op een krachtige laptop of minicomputer met 128 gigabyte geheugen draait (link). Dat kost wat nauwkeurigheid, en het antwoord komt trager dan van een chatbot in een datacenter.

Daardoor kunnen onderzoekers, kleine bedrijven en ziekenhuizen krachtige modellen zelf draaien, zonder hun gegevens naar buiten te sturen. Dat is de kern van lokale AI.