Hopfield laat een netwerk van schakelaars een herinnering terugvinden

PASADENA, APRIL 1982 - De natuurkundige John Hopfield van het California Institute of Technology (Caltech) beschrijft in de Proceedings of the National Academy of Sciences een netwerk van eenvoudige schakelaars dat een herinnering kan terugvinden uit een klein stukje ervan. Een computer slaat gegevens op een vast adres op en moet dat adres weten. Het netwerk van Hopfield haalt een herinnering op zoals mensen dat doen: aan de hand van de inhoud.

Hoe een computer onthoudt, en hoe wij dat doen

In een computer heeft elk gegeven een nummer, het adres van de plek in het geheugen. Wie het nummer niet weet, vindt het gegeven niet. Mensen onthouden anders. Een paar noten van een lied of de helft van een gezicht is genoeg om het geheel te herinneren. In het Engels heet zo'n geheugen een content-addressable memory: een geheugen dat je aanspreekt met de inhoud. In zijn artikel laat Hopfield zien dat een netwerk van veel simpele onderdelen zo'n geheugen kan zijn.

Schakelaars met verbindingen

Het netwerk bestaat uit veel gelijke, eenvoudige eenheden. Hopfield noemt ze neuronen, naar de zenuwcellen in de hersenen. Elke eenheid staat aan of uit. Elke eenheid is verbonden met alle andere, en elke verbinding heeft een sterkte: positief als de twee eenheden het liefst dezelfde stand hebben, negatief als ze het liefst een tegengestelde stand hebben.

Een patroon opslaan betekent de sterktes zo instellen dat dat patroon past. Eenheden die in het patroon allebei aan of allebei uit staan, krijgen een positieve verbinding. Eenheden die in het patroon verschillen, krijgen een negatieve. Kijk je naar meerdere patronen, dan telt elk patroon mee in dezelfde verbindingen.

Zo vindt het netwerk de herinnering terug

Je zet het netwerk in de stand van een onvolledig of beschadigd patroon. Dan komt elke eenheid om de beurt aan de beurt. Ze telt de invloed van alle andere eenheden op (stand maal sterkte van de verbinding) en kiest dan: is de som hoog genoeg, dan gaat ze aan, anders uit. Er is geen centrale regelaar. Alle eenheden doen hetzelfde eenvoudige werk.

Neem een voorbeeld met vijf eenheden en het opgeslagen patroon aan-uit-aan-uit-aan. Zet je het netwerk in de stand aan-uit-uit-uit-aan, dan staat de middelste eenheid verkeerd. De buren drukken haar naar 'aan', want in het opgeslagen patroon horen ze bij elkaar. Ze schakelt om, en het hele patroon staat er weer.

Hopfield ziet in dit gedrag een bekend begrip uit de natuurkunde: energie, zoals bij magneetjes die elkaar beïnvloeden. De energie van het netwerk is een getal dat aangeeft hoeveel verbindingen 'tegen hun zin' staan. Elke omschakeling kan die energie alleen maar laten dalen of gelijk laten blijven, zolang de verbindingen in beide richtingen even sterk zijn. Het netwerk gaat daardoor vanzelf op zoek naar een rustpunt waar niets meer wil veranderen. Je kunt het vergelijken met een bal die in een heuvelachtig landschap naar het laagste punt van zijn dal rolt: elk opgeslagen patroon is een dal, de beginstand is de plek waar de bal begint. Een beschadigd patroon rolt zo naar het opgeslagen patroon dat het meest op hem lijkt.

Wat het netwerk verder kan

Hopfield noemt in zijn samenvatting meer eigenschappen die vanzelf ontstaan, zonder dat iemand ze er apart in heeft gebouwd: generaliseren, bekend voorkomen herkennen, indelen in groepen, fouten herstellen en een reeks gebeurtenissen onthouden. Die eigenschappen blijven bovendien grotendeels werken als een onderdeel uitvalt of een detail van het model anders is. Dat past bij hersenen, waar cellen uitvallen zonder dat de herinneringen verdwijnen. Hopfield schrijft ook dat zijn model kan worden gebouwd met geïntegreerde schakelingen, de chips van de computers van nu.

Teruggeblikt vanuit 2026

Hopfield werkte in 1982 aan Caltech, na zestien jaar in Princeton. Zijn artikel uit 1982 en een vervolg uit 1984, waarin de eenheden niet alleen aan of uit kunnen staan maar ook waarden daartussen, zijn zijn meest geciteerde werk. Latere berekeningen laten zien dat zo'n netwerk ongeveer 14 patronen per 100 eenheden kan opslaan. Bij meer patronen gaan er fouten optreden. Het netwerk kan ook in een patroon blijven steken dat nooit is opgeslagen, zoals het spiegelbeeld van een opgeslagen patroon. Als technisch hulpmiddel wordt het klassieke Hopfield-netwerk in het machinaal leren van nu weinig gebruikt.

Wat bleef, is het idee: een netwerk van eenvoudige eenheden dat zijn kennis in de sterkte van de verbindingen draagt, en een rekenmethode die uit de natuurkunde komt. In 2024 kreeg Hopfield daarvoor samen met Geoffrey Hinton de Nobelprijs voor de natuurkunde. Dat artikel vertelt hoe Hinton op dit werk voortbouwde: waar het netwerk van Hopfield een herinnering terugvindt die iemand erin heeft gezet, leert Hintons Boltzmann-machine zelf uit voorbeelden welke kenmerken in gegevens voorkomen en kan ze nieuwe voorbeelden maken. Zo loopt er een lijn van dit netwerk van schakelaars naar de AI van nu.