Netwerk AlexNet wint beeldherkenningswedstrijd met een groot verschil

FLORENCE, OKTOBER 2012 - Rond de Europese conferentie over computervisie ECCV zijn de uitslagen bekend van de ImageNet-wedstrijd van dit jaar. De winnaar is een team uit Toronto onder de naam SuperVision: Alex Krizhevsky, Ilya Sutskever en hun promotor Geoffrey Hinton. Hun programma, AlexNet, maakt 15,3 procent fouten. De nummer twee zit op 26,2 procent, ruim tien procentpunten verder. Zo'n groot verschil is ongebruikelijk in dit soort wedstrijden.

Wat moest het programma doen?

De wedstrijd is gebaseerd op ImageNet, de verzameling gesorteerde foto's die in 2009 is gepresenteerd. Deelnemers krijgen ruim 1,2 miljoen foto's om van te leren, verdeeld over 1.000 categorieën. Daarna krijgen ze nieuwe foto's die ze nog nooit gezien hebben. Per foto mag het programma vijf keer raden wat erop staat. Zit het juiste antwoord er niet bij, dan telt dat als een fout.

Hoe werkt AlexNet?

AlexNet is een neuraal netwerk: lagen van kleine rekeneenheden met verbindingen van verschillende sterkte, die leren door hun fouten terug te rekenen en bij te stellen. Die leermethode, back-propagation, is in 1986 beschreven. Het bijzondere zit in de bouw.

De eerste vijf lagen werken als filters die over de foto glijden en zoeken naar een patroon, zoals een rand of een kleurovergang. Elke laag bouwt voort op de vorige: uit randen ontstaan vormen en uit vormen delen van een dier of voorwerp. Drie lagen daarachter combineren alles tot een antwoord. In totaal heeft het netwerk acht lagen, ongeveer 650.000 neuronen en zo'n 60 miljoen verbindingssterktes. Al die sterktes moeten worden bijgesteld. Dat kost ontzettend veel rekenwerk.

Daarom trainde het team het netwerk op twee grafische kaarten van NVIDIA, elk met 3 gigabyte geheugen. Het netwerk paste niet op één kaart, dus ze verdeelden het over twee. De training duurde vijf tot zes dagen. Zulke chips rekenen dankzij hun vele kleine rekeneenheden veel sneller aan dit werk dan een gewone processor.

Twee kunstgrepen hielpen ook. De eerste is een eenvoudiger rekenregel voor wat elke eenheid doorgeeft, waarbij het netwerk sneller leert. De tweede heet dropout: tijdens het leren schakelt het netwerk steeds willekeurig de helft van de eenheden uit, zodat het niet op een paar eenheden gaat leunen en ook bij nieuwe foto's goed werkt.

De concurrentie werkt anders. De nummer twee combineert verschillende programma's, elk met door onderzoekers bedachte kenmerken om een foto te beschrijven, zoals kleurpatronen en structuur van de afbeelding. AlexNet bedenkt zijn kenmerken zelf.

Teruggeblikt vanuit 2026

AlexNet geldt als het eerste breed erkende gebruik van diepe netwerken met filterlagen voor beeldherkenning. Yann LeCun, zelf pionier op dit gebied, noemde het later een keerpunt in de geschiedenis van computervisie. Het artikel is meer dan 198.000 keer geciteerd. De wedstrijd stopte na 2017 omdat de taak als opgelost gold.

Op dit ene moment kwamen drie dingen samen die elk apart al bestonden: de leermethode uit 1986, de grote verzameling foto's uit 2009 en de rekenkracht van grafische chips die sinds 2007 met CUDA te programmeren waren. Vanaf hier overvleugelden neurale netwerken de rest van de AI. Sutskever was drie jaar later een van de oprichters van OpenAI.