EnglishParameter
Een parameter is een instelbaar getal in een AI-model. Tijdens de training worden miljarden van die getallen steeds een beetje bijgesteld; samen bevatten ze alles wat het model heeft geleerd.
Een AI-model moet ergens bewaren wat het tijdens de training heeft geleerd. Dat gebeurt niet in losse feiten of zinnen, maar in getallen: de parameters, ook wel gewichten genoemd. Elk getal bepaalt hoe sterk een signaal in het netwerk doorwerkt. Tijdens de training worden de getallen miljoenen keren een klein beetje bijgesteld, tot het model zijn taak goed doet.
Het aantal parameters zegt iets over de grootte van een model. Meer parameters betekent meestal dat een model meer kan opslaan en ingewikkelder taken aankan, maar ook dat het meer geheugen en rekenkracht vraagt. De grootste modellen tellen honderden miljarden tot meer dan een biljoen parameters, terwijl een klein model dat op een telefoon draait er enkele tientallen miljoenen heeft.
Niet alle parameters hoeven altijd mee te doen. Bij een model dat is opgebouwd als mixture of experts wordt per stap maar een deel van het netwerk gebruikt, zodat een groot model toch snel en zuinig kan werken.
Waarom het ertoe doet
Het Chinese Meituan bracht een model uit met 1,6 biljoen parameters, waarvan er per stukje tekst maar zo'n 48 miljard meedoen. Aan de andere kant staan voorleesmodellen met 31 miljoen parameters, klein genoeg om op een telefoon te draaien. Daartussen zit een groeiende groep mensen die grote open modellen op de eigen computer wil gebruiken. Unsloth helpt daarbij door de parameters van een groot model minder precies op te slaan, zodat het model veel minder geheugen nodig heeft.
Artikelen over Parameter
-
Nvidia brengt open AI-modellen uit voor digitale assistenten op servers en laptops
Nvidia heeft drie nieuwe open AI-modellen uitgebracht voor assistenten die zelfstandig taken uitvoeren. Het grootste draait in het datacenter van bedrijven, de kleinere werken gewoon op een laptop. Volgens Nvidia verslaat het grote model na extra training topmodellen op specialistische taken.
-
Meta maakt Muse Spark Open vrij beschikbaar: groot AI-model voor programmeren, ook op eigen computers
Meta heeft Muse Spark Open uitgebracht, een groot AI-model voor programmeren en zelfstandige agenttaken dat iedereen kan downloaden. Volgens Meta is het het sterkste Amerikaanse open model tot nu toe, en het draait zelfs op twee Mac Studio's.
-
Chinees DeepSeek brengt redeneermodel R1 uit dat iedereen mag downloaden
Het Chinese DeepSeek publiceert R1, een AI-model dat volgens het bedrijf op het niveau van OpenAI's o1 redeneert. Het model is vrij te downloaden en te gebruiken. Zo wordt sterke AI breder beschikbaar, buiten de grote Amerikaanse bedrijven om.
-
OpenAI zet ChatGPT online: een gratis chatprogramma dat antwoordt in gewone taal
OpenAI heeft ChatGPT online gezet, een programma waarmee je in gewone taal een gesprek voert. Het is voorlopig gratis te proberen, zodat het bedrijf van de gebruikers kan leren wat al goed gaat en wat beter moet.
-
OpenAI presenteert GPT-3: een taalmodel dat taken leert uit een paar voorbeelden in de opdracht
OpenAI beschrijft GPT-3, een taalmodel met 175 miljard parameters. Het schrijft, vertaalt en beantwoordt vragen na een paar voorbeelden in de opdracht, zonder extra training. Het is meer dan honderd keer zo groot als zijn voorganger.
-
OpenAI toont aan dat taalmodellen voorspelbaar beter worden naarmate ze groter worden
Onderzoekers van OpenAI hebben gemeten dat de fouten van taalmodellen netjes afnemen als je het model, de hoeveelheid tekst en het rekenwerk groter maakt. Daardoor valt vooraf in te schatten wat een groter model oplevert.
