What A Time To Be Alive

Woordenlijst

Tokens

Tokens zijn de stukjes tekst waarin een taalmodel leest en schrijft: vaak een kort woord of een deel van een woord. Snelheid, kosten en geheugen van AI worden in tokens gemeten.

Een taalmodel leest en schrijft niet in hele woorden of letters, maar in tokens, ook wel woorddelen genoemd. Een token is een stukje tekst: een kort woord, een deel van een lang woord, een leesteken of een spatie met een woord erachter. Je kunt het vergelijken met woorden die in lettergrepen worden gehakt voordat het model ermee aan de slag gaat.

Hoe werkt het?

Voordat een model een tekst verwerkt, wordt die in tokens opgeknipt. Elk token krijgt een nummer, en met die nummers rekent het model. Een antwoord ontstaat meestal token voor token: het model kiest het volgende stukje, voegt het toe en kijkt dan wat daarna past.

Daarom worden tokens overal als maat gebruikt. De snelheid van een model geef je aan in tokens per seconde. De hoeveelheid tekst die een model tegelijk kan overzien, is het aantal tokens dat in zijn werkgeheugen past. En de prijs van een AI-dienst wordt vaak berekend per miljoen tokens die erin gaan en per miljoen die eruit komen. Lange teksten en lange gedachtegangen kosten dus meer tokens, en daarmee meer rekentijd en geld.

Waarom het ertoe doet

Tokens maken goed zichtbaar wat AI-werk kost. Het AI-model Mercury 3 van het Amerikaanse Inception schrijft volgens de maker ruim duizend woorddelen per seconde, omdat het een tekst in een paar rondes in één keer afwerkt in plaats van token voor token (link). Dat maakt AI sneller en goedkoper.

Bij zwaar werk lopen de aantallen snel op. Anthropic laat Claude bij software een wiskundig bewijs meeleveren dat stap voor stap wordt gecontroleerd, en één zo'n bewijs kan honderden miljoenen tokens kosten (link). Gaat het rekenen efficiënter, dan daalt dat getal. Voor wie nieuws over AI leest, is het dus handig te weten dat een token geen woord is, maar een bouwsteentje van een woord.

Artikelen over Tokens