EnglishNieuw AI-geheugen vat een hele stapel documenten per vraag samen in 16 tokens
Onderzoekers van onder meer Stanford maakten Memorilla: een geheugen dat per vraag een hele documentenverzameling samenvat in 16 tokens. In hun eigen proeven scoort een taalmodel daarmee meestal beter dan met alle tekst erbij, en het antwoordt veel sneller. Exacte namen raken soms verloren.
Een taalmodel, het type AI achter chatbots, verwerkt tekst in tokens: kleine stukjes, vaak een woord of een deel ervan. Wil je het vragen laten beantwoorden over een hele stapel documenten of over maanden aan eerdere gesprekken, dan moet al die tekst mee in de vraag. Hoe langer de tekst, hoe meer het model moet doorrekenen, en boven een bepaalde lengte past het niet meer.
Onderzoekers van Stanford, de Universiteit van Toronto, de University of Pennsylvania en MIT presenteerden begin november een andere aanpak. Hun systeem, genaamd Memorilla, vat de hele verzameling per vraag samen in 16 tokens. In hun eigen proeven scoorde een taalmodel daarmee op zeven van de acht proeven beter dan met alle tekst erbij. Bij 512 documenten antwoordde het 27 keer zo snel.
Alles lezen of eerst zoeken
De gebruikelijke oplossing heet RAG. Een zoeksysteem pakt dan eerst de paar stukken tekst die het best bij de vraag lijken te passen en geeft alleen die aan het taalmodel. Dat werkt goed als het antwoord letterlijk ergens staat. Het is lastiger als het antwoord verspreid staat over stukken die op het eerste gezicht weinig met de vraag te maken hebben. Het zoeksysteem beoordeelt elk stuk los, dus zulke stukken blijven dan liggen.
Hoe Memorilla werkt
Memorilla kiest geen losse stukken. Een taalmodel zet elk stukje tekst intern eerst om in een rijtje getallen. Memorilla maakt gebruik van dat idee. Elk document wordt één keer omgezet in getallen die de betekenis vastleggen, en die worden bewaard. Komt er een document bij, dan hoeft alleen dat document te worden omgezet.
Bij elke vraag leest een apart AI-onderdeel, dat speciaal hiervoor is getraind, alle bewaarde getallen door. Wat voor deze vraag van belang is, zet het in 16 geheugentokens: geen woorden, maar rijtjes getallen die het model op dezelfde plek krijgt als gewone tekst. Je kunt het zien als een assistent die voor elke vraag het hele archief doorneemt en een nieuw, kort briefje schrijft in een taal die alleen het model leest. Hoe groot de verzameling ook is, het blijven er 16.
Het taalmodel zelf verandert niet. Het krijgt alleen die 16 geheugentokens vóór de vraag.
Beter en sneller in de proeven
De onderzoekers testten Memorilla op acht proeven, met het open taalmodel Qwen3-8B. Gemiddeld scoorde het systeem hoger dan alle andere methoden, waaronder de bestaande geheugensystemen Mem0 en MemoRAG. Op vijf proeven was het de beste van allemaal.
Bij de proef FactKG, waarbij een taalmodel beweringen op juistheid beoordeelt, had het 84,3 procent goed, tegen 80,4 procent met alle tekst erbij. Het model kreeg daarbij 108 keer minder tekst uit de documenten te verwerken. Bij de quizvragen van TriviaQA was het 57,0 tegen 52,6 procent, met 743 keer minder tekst.
Ook de snelheid verschilt sterk, omdat het taalmodel veel minder hoeft door te rekenen. Bij 512 documenten, samen zo'n 128.000 tokens, kostte een antwoord op één H100-chip van Nvidia 0,74 seconde, tegen 19,9 seconde met alle tekst erbij. Het omzetten van de documenten gebeurt vooraf, één keer.
Het team probeerde het ook bij een AI-agent: een taalmodel dat zelf stappen zet, hier in avonturen die alleen in woorden worden beschreven, met tot 65 kamers. Het model kreeg zijn hele spelgeschiedenis al als gewone tekst en kreeg daar 8 geheugentokens bij. Het speelde elk nieuw spel drie keer. Gemiddeld won het 24,2 procent van die pogingen, tegen 18,6 procent zonder geheugentokens. Van de spellen won het er 37,5 procent minstens één keer, tegen 25 procent.
Wat nu nog moet gebeuren
De cijfers komen uit de eigen proeven van de onderzoekers, en één van de acht proeven hebben ze zelf gemaakt. De code en de getrainde versies staan openbaar, zodat anderen de proeven kunnen herhalen.
Een kort briefje kan niet alles bevatten. Memorilla raakt soms precieze details kwijt, zoals exacte namen. Daarom doet RAG, dat de tekst letterlijk doorgeeft, het beter bij vragen met "wie" of "welke", en Memorilla bij "waarom" en "hoe". De onderzoekers stellen voor om beide te combineren.
Bij de medische proef PubMedQA ging het om zeer korte teksten, samen zo'n 324 tokens. Daar scoorde het taalmodel met alle tekst erbij hoger: 67 tegen 59 procent. Op twee andere proeven scoorde MemoRAG hoger, maar dat systeem gebruikte 50 tot 690 keer zoveel tekst.
Memorilla moet voor elk taalmodel apart worden getraind, omdat het rechtstreeks met de interne getallen van dat model werkt. Dat kan alleen bij open modellen die iedereen kan downloaden. Het is nu getest met modellen van de Qwen-familie. De volgende stap is uitproberen hoe het bij andere modellen werkt.
Wat betekent dit voor de weg naar de singulariteit?
Een taalmodel onthoudt uit zichzelf niets van eerdere gesprekken. Wie AI-systemen wil die kennis blijven opbouwen, heeft geheugen nodig dat meegroeit zonder dat de invoer steeds langer wordt. Memorilla is een stap in die richting: wat het model te lezen krijgt, blijft even kort, hoeveel documenten er ook bijkomen.
Vervolgonderzoek moet laten zien of dat ook opgaat voor andere modellen en veel grotere verzamelingen. Lukt dat, dan komen AI-assistenten dichterbij die hun hele geschiedenis paraat hebben en daar snel uit kunnen putten.
