Andere volgorde laat AI-servers ruim drie keer sneller beginnen met antwoorden
Ingenieurs van Amazon en Mistral hebben de open software vLLM, waarmee veel bedrijven AI-modellen draaien, slimmer laten samenwerken. Bij lange vragen verscheen het eerste woord van het antwoord in hun test ruim drie keer sneller. De nieuwe werkwijze is gratis te gebruiken.
Wie een AI-chatbot een vraag stelt, wacht eerst even. Daarna verschijnt het antwoord woord voor woord. Die eerste wachttijd voelt vaak het langst, zeker als je een lang document meestuurt. Achter de schermen gebeurt er in die tijd veel.
Een taalmodel werkt namelijk in twee stappen. Eerst leest het de hele vraag in één keer door. Daarbij maakt het een soort aantekeningen over de tekst, zodat het die niet steeds opnieuw hoeft te lezen. Daarna schrijft het het antwoord, steeds één woorddeel tegelijk.
Die twee stappen vragen iets anders van de computer. Het lezen is vooral zwaar rekenwerk, het schrijven vooral snel heen en weer met het geheugen. Grote AI-diensten zetten ze daarom steeds vaker op aparte servers: de ene leest, de andere schrijft. De aantekeningen moeten dan wel van de ene server naar de andere.
Wachten op elkaar
De open software vLLM, waarmee bedrijven wereldwijd AI-modellen op hun eigen servers draaien, deed dat tot nu toe in een vaste volgorde. Pas als de leesserver klaar was, ging de schrijfserver ruimte in zijn geheugen vrijmaken en de aantekeningen ophalen. Al die stappen kwamen na elkaar, terwijl de gebruiker wachtte.
Sunita Nadampalli van Amazon Web Services en Nicolò Lucchesi van het Franse AI-bedrijf Mistral, die ook vLLM mee onderhoudt, draaiden dat om. In de nieuwe werkwijze zet de schrijfserver al een plek in zijn geheugen klaar terwijl de leesserver nog bezig is. Zodra het lezen klaar is, stuurt de leesserver de aantekeningen meteen naar die plek. Een apart hulpprogramma op de achtergrond regelt dat, zodat het rekenwerk gewoon doorloopt. Vergelijk het met een restaurant waar de ober de tafel al dekt terwijl de kok nog kookt, in plaats van pas als het eten klaarstaat.
Ruim drie keer sneller
Ze testten het met het open taalmodel Qwen3-32B op twee servers van Amazon, met elk acht AI-chips van Nvidia. Bij acht vragen per seconde, elk met een tekst van zo'n 16.000 woorddelen, duurde het met de oude werkwijze ongeveer 1,7 seconde tot het eerste woord verscheen. Met de nieuwe werkwijze was dat ongeveer 0,5 seconde: ruim drie keer sneller. Ook het schrijven zelf ging vlotter, met ongeveer 7 duizendste seconde per woorddeel in plaats van ruim 10. Dat is zo'n 30 procent winst. Bij korte vragen en weinig drukte maakt het bijna niets uit.
Er zit één afweging aan. Omdat de schrijfserver al wordt gekozen voordat het lezen klaar is, kan het systeem minder goed op het laatste moment uitwijken naar de server die het minst druk is. Voor sommige diensten blijft de oude werkwijze daarom de betere keus. De nieuwe zit in vLLM vanaf versie 0.29.0 en is, net als de rest van de software, gratis te gebruiken. De meting is gedaan in één opstelling; hoeveel winst het oplevert in andere situaties, laat het gebruik in de praktijk zien.
Wat betekent dit voor de weg naar de singulariteit?
AI wordt niet alleen beter door slimmere modellen, maar ook door slimmer werk eromheen. Deze verbetering haalt meer uit dezelfde chips: geen nieuwe hardware, alleen een betere volgorde. Dat maakt vooral lange opdrachten sneller en goedkoper, en juist die worden belangrijker nu AI-agents hele documenten, mappen en programma's doorlezen voordat ze aan het werk gaan. Opvallend is dat het idee uit het gewone leven komt: voorbereiden terwijl je toch moet wachten, zoals in een keuken of een magazijn. AI-modellen die kennis hebben van logistiek, planning en computers tegelijk, kunnen zulke trucs straks zelf vinden in de software waarop ze draaien. Dan helpt AI zichzelf sneller worden, en omdat vLLM open software is, profiteert iedereen mee.
