What A Time To Be Alive
Taal kiezen: Nederlands

Woordenlijst

Parameter

Een parameter is een instelbaar getal in een AI-model. Tijdens de training worden miljarden van die getallen steeds een beetje bijgesteld; samen bevatten ze alles wat het model heeft geleerd.

Een AI-model moet ergens bewaren wat het tijdens de training heeft geleerd. Dat gebeurt niet in losse feiten of zinnen, maar in getallen: de parameters, ook wel gewichten genoemd. Elk getal bepaalt hoe sterk een signaal in het netwerk doorwerkt. Tijdens de training worden de getallen miljoenen keren een klein beetje bijgesteld, tot het model zijn taak goed doet.

Het aantal parameters zegt iets over de grootte van een model. Meer parameters betekent meestal dat een model meer kan opslaan en ingewikkelder taken aankan, maar ook dat het meer geheugen en rekenkracht vraagt. De grootste modellen tellen honderden miljarden tot meer dan een biljoen parameters, terwijl een klein model dat op een telefoon draait er enkele tientallen miljoenen heeft.

Niet alle parameters hoeven altijd mee te doen. Bij een model dat is opgebouwd als mixture of experts wordt per stap maar een deel van het netwerk gebruikt, zodat een groot model toch snel en zuinig kan werken.

Waarom het ertoe doet

Het Chinese Meituan bracht een model uit met 1,6 biljoen parameters, waarvan er per stukje tekst maar zo'n 48 miljard meedoen. Aan de andere kant staan voorleesmodellen met 31 miljoen parameters, klein genoeg om op een telefoon te draaien. Daartussen zit een groeiende groep mensen die grote open modellen op de eigen computer wil gebruiken. Unsloth helpt daarbij door de parameters van een groot model minder precies op te slaan, zodat het model veel minder geheugen nodig heeft.

Artikelen over Parameter