What A Time To Be Alive

Woordenlijst

Taalmodel

Een taalmodel is een AI-model dat getraind is op enorme hoeveelheden tekst en daardoor tekst kan begrijpen, schrijven en vertalen. De chatbots die je kent, draaien op een taalmodel.

Een taalmodel is een AI-model dat heeft geleerd van enorme hoeveelheden tekst. Het kan daardoor vragen beantwoorden, teksten schrijven en samenvatten, vertalen en programmeercode maken. De bekende chatbots draaien op een taalmodel. Bij een groot taalmodel, in het Engels large language model of LLM, zijn zowel het model zelf als de hoeveelheid tekst waarmee het is getraind heel groot.

Hoe werkt het?

In de kern leert een taalmodel het volgende stukje tekst te voorspellen. Het leest een stuk tekst, gokt wat er hierna komt en kijkt hoe ver het ernaast zat. Dit gebeurt miljarden keren. Zo pikt het patronen op in taal, maar ook in de kennis die in die teksten staat. De tekst wordt daarbij in kleine stukjes gehakt, de tokens, en het model werkt met die stukjes.

Wat het model heeft geleerd, zit in zijn parameters: miljarden getallen. Een antwoord ontstaat meestal stukje voor stukje, waarbij elk nieuw stukje afhangt van wat er al staat. Er bestaan ook modellen die het anders doen. Mercury 3 van het Amerikaanse Inception maakt eerst een ruwe versie van de hele tekst en scherpt die in een paar rondes aan. Volgens het bedrijf is het model daardoor vier tot acht keer zo snel als vergelijkbare modellen (link).

Waarom het ertoe doet

Taalmodellen zijn de motor achter bijna alle AI-nieuws. Ze vormen de basis van AI-agents die zelfstandig taken uitvoeren. Ze worden ook ingezet in de wetenschap, bijvoorbeeld om eiwitten te ontwerpen of experimenten te bedenken.

Het trainen van zo'n model kost veel rekenkracht, en daar wordt hard aan gewerkt. Microsoft AI rondde de eerste trainingsfase van zijn basismodel MAI-Base-2 af. Volgens het bedrijf haalt het model hetzelfde niveau als een sterk Chinees model, met 4 tot 12 keer minder rekenwerk (link). Hoe goed een taalmodel is, meten onderzoekers met vaste toetsen, de benchmarks.

Artikelen over Taalmodel