EnglishUnsloth maakt groot open AI-model van Alibaba kleiner en volgens eigen tests nauwkeuriger dan anderen
Unsloth heeft nieuwe, kleinere versies uitgebracht van Qwen3.8-Flash-Next, een groot open AI-model van Alibaba. Volgens eigen tests maken ze gemiddeld 15 procent betere scores dan andere ingekrompen versies. Zo kunnen meer mensen het model op hun eigen computer draaien.
Grote AI-taalmodellen zijn enorm. Qwen3.8-Flash-Next, een open model van het AI-team Qwen van het Chinese Alibaba, telt 125 miljard parameters: de getallen waarin het model zijn kennis opslaat. In de volledige versie is het bestand zo'n 354 gigabyte groot. Dat past op geen enkele gewone computer. Wie zo'n model thuis of op kantoor wil gebruiken, zonder de gegevens naar een datacenter te sturen, heeft dus een kleinere versie nodig.
Het bedrijf Unsloth maakt zulke kleinere versies. Op 4 november bracht het een nieuwe reeks uit voor Qwen3.8-Flash-Next, gemaakt met een verbeterde methode die het Dynamic 3.1 noemt. Medeoprichter Daniel Han maakte de nieuwe bestanden bekend op Hugging Face, een website waar AI-modellen gratis worden gedeeld.
Hoe je een model kleiner maakt
De techniek heet quantisatie. Elk getal in het model wordt opgeslagen met minder cijfers achter de komma, ongeveer zoals je 3,14159 afrondt op 3,1. Het bestand wordt daardoor veel kleiner, maar het model maakt iets meer fouten. De kunst is om af te ronden waar het weinig kwaad kan en nauwkeurig te blijven waar het ertoe doet.
De kleinste versie van Unsloth is ruim 66 gigabyte, ongeveer een vijfde van het origineel. Daarvoor heb je nog steeds een krachtige computer met veel werkgeheugen nodig. De bestanden werken met gratis programma's zoals llama.cpp en LM Studio.
Nieuw is dat één onderdeel van het model, een soort opzoektabel, los te kiezen is in vier formaten: van 28,8 tot 102,4 gigabyte. Hoe kleiner die tabel, hoe groter de afwijking van het origineel. Gebruikers kunnen zo zelf kiezen tussen een kleiner bestand en een nauwkeuriger model.
Wat de tests laten zien
Volgens Unsloth zijn de nieuwe versies bij vrijwel alle tests de nauwkeurigste in hun grootte, vergeleken met andere ingekrompen versies van hetzelfde model. Bij even grote bestanden scoren ze gemiddeld 15 procent hoger. Unsloth testte vooral taken waarbij het model zelfstandig werkt, zoals programmeerfouten oplossen en opdrachten uitvoeren op de computer, en daarnaast vragen over wiskunde en wetenschap. Voor die tests liet het de modellen samen tientallen miljarden woorddelen schrijven.
Alle cijfers komen uit de eigen tests van Unsloth. Het bedrijf beschrijft zelf ook hoe gevoelig zulke metingen zijn: nadat het de software verbeterde die de antwoorden nakijkt, werden duizenden antwoorden die eerst fout werden gerekend alsnog goed gerekend. Onafhankelijke metingen moeten laten zien hoe groot de winst precies is.
Wat betekent dit voor de weg naar de singulariteit?
Een AI-model wordt pas echt bruikbaar als mensen het kunnen draaien. Elke verbetering in het kleiner maken van modellen betekent dat een krachtig model op minder dure apparatuur past. Dat geeft onderzoekers, kleine bedrijven en liefhebbers de kans om zelf met zulke modellen te werken, te bouwen en ze te controleren, zonder afhankelijk te zijn van een groot datacenter. Zo komt sterke AI binnen bereik van steeds meer mensen.
