Contrastief leren

Bij contrastief leren leert een AI-model door te vergelijken. Het krijgt steeds twee dingen te zien en moet bepalen of ze bij elkaar horen: een foto en een bijschrift, een kristal en de beschrijving ervan. Soms is het paar goed, soms niet. Door dat duizenden keren te doen, leert het model wat er bij wat past.

Je kunt het vergelijken met een makelaar die steeds een plattegrond krijgt met een woningbeschrijving erbij, soms de goede en soms een verkeerde. Na een tijd ziet hij aan een plattegrond alleen al of een huis ruim en licht is.

Hoe werkt het?

Het model zet beide kanten van een paar om in een rij getallen, een soort vingerafdruk. Bij een goed paar probeert het de twee vingerafdrukken dicht bij elkaar te leggen. Bij een verkeerd paar probeert het ze juist ver uit elkaar te leggen. Na veel herhalingen liggen dingen die bij elkaar horen dicht bij elkaar, ook al zijn het verschillende soorten gegevens, zoals beeld en tekst.

Het voordeel is dat het model niet voor elk voorbeeld een label van een mens nodig heeft. Het is genoeg om te weten welke paren bij elkaar horen.

Waarom het ertoe doet

Zo kun je een model leren om twee werelden te verbinden. Onderzoekers van MIT gebruikten het om een taalmodel de bouw van kristallen te laten begrijpen. Taalmodellen leren vooral van tekst, terwijl de opbouw van een kristal in bestanden vol coördinaten staat. Het MIT-model kreeg bij elk kristal de 3D-opbouw en een beschrijving in gewone taal, en leerde zo de 3D-structuur van een kristal te verbinden met de woorden die erbij horen (link). Daardoor kon het betere kandidaten vinden voor bijvoorbeeld accu's.

Dat is een voorbeeld van waar de methode sterk in is: gegevens die op het eerste gezicht niets met elkaar te maken hebben, toch aan elkaar koppelen.