Google-onderzoekers: een netwerk dat alle woorden tegelijk bekijkt vertaalt beter en leert sneller

MOUNTAIN VIEW, JUNI 2017 - Acht onderzoekers van Google hebben een nieuwe manier beschreven om computers tekst te laten verwerken. Hun systeem heet de Transformer. Het vertaalt van Engels naar Duits en Frans beter dan alle eerdere methoden, en het is veel sneller te trainen. Het artikel draagt de titel "Attention Is All You Need", vrij vertaald: aandacht is alles wat je nodig hebt.

Hoe een computer tot nu toe tekst las

Programma's voor vertalen en schrijven zijn opgebouwd uit neurale netwerken. Dat zijn rekenprogramma's die zichzelf bijstellen aan de hand van heel veel voorbeelden. De gebruikelijke soort heet een terugkerend netwerk. Het leest een zin woord voor woord, van links naar rechts, en neemt na elk woord een soort samenvatting mee naar het volgende.

Dat heeft twee nadelen. Het eerste is afstand: wil het programma een woord koppelen aan een woord ver eerder in de zin, dan moet die informatie door alle woorden ertussen heen. Eerder onderzoek wijst erop dat het netwerk daardoor lastiger leert. Het tweede nadeel is snelheid. Elk woord moet wachten op het woord ervoor, dus het werk is niet te verdelen over de vele rekeneenheden van een moderne grafische chip, die juist veel dingen tegelijk kunnen.

Aandacht: elk woord kijkt naar alle andere

De Transformer leest niet in een rij. Hij bekijkt de hele zin in één keer. Voor elk woord vraagt het systeem: hoe belangrijk is elk ander woord om dit woord te begrijpen? Elk woord krijgt daarvoor een cijfer. Daarna telt het systeem de andere woorden mee in verhouding tot hun cijfer. Een woord met een hoog cijfer telt zwaar mee, een woord met een laag cijfer nauwelijks. Dit heet aandacht.

Google geeft zelf een voorbeeld. In de zin "Ik kwam bij de bank aan nadat ik de rivier was overgestoken" kan "bank" een zitmeubel zijn of een geldinstelling. Het woord "rivier" krijgt een hoog aandachtscijfer, dus het systeem begrijpt in één stap dat het om een oever gaat. Een tweede voorbeeld: in het Frans hangt de vertaling van "it" af van het woord waarnaar het verwijst. Het systeem gaf bij een dier en bij een straat de juiste vertaling.

Lezen en schrijven in twee delen

Voor vertalen gebruikt de Transformer twee delen. Het eerste deel leest de zin in de brontaal en maakt voor elk woord een beschrijving die rekening houdt met de rest van de zin. Het tweede deel schrijft de vertaling woord voor woord op. Het kijkt daarbij naar de woorden die het al heeft geschreven en naar de beschrijvingen van het eerste deel.

Omdat alle woorden tegelijk worden bekeken, kan het werk over veel chips worden verdeeld. Het netwerk leerde Engels naar Frans vertalen in 3,5 dagen op acht grafische chips. Volgens de onderzoekers is dat een klein deel van wat de beste eerdere modellen kostten.

Wat het oplevert

Op de standaardtest voor Engels naar Duits haalde de Transformer 28,4 punten op de vertaalmaat BLEU, ruim 2 punten meer dan het beste eerdere resultaat. Die maat vergelijkt computervertalingen met vertalingen van mensen. Engels naar Frans scoorde 41,8, een nieuw record voor één model. Het systeem deed het ook goed bij een andere taak, het ontleden van zinnen.

Teruggeblikt vanuit 2026

De acht schrijvers werkten allemaal bij Google. Later verlieten ze het bedrijf, om bij andere bedrijven te gaan werken of zelf een bedrijf te beginnen. In december 2017 presenteerden ze het artikel op een grote vakconferentie.

De Transformer werd de basis van bijna alle grote taalmodellen. In 2018 verscheen BERT van Google, dat de Transformer gebruikt om tekst te begrijpen. De GPT-modellen van OpenAI gebruiken het onderdeel dat tekst schrijft. Het chatprogramma ChatGPT, eind 2022, bouwde daarop voort. Dezelfde techniek wordt ook gebruikt voor beelden en video.

Het belang zit in het schalen. Omdat de Transformer tijdens het trainen veel tegelijk kan doen, kon je modellen steeds groter maken en daarvoor steeds meer chips inzetten. De Transformer is daarmee een van de bouwstenen onder bijna alle AI-nieuws van dit moment.