EnglishMixture of experts
Een mixture of experts is een AI-model dat is opgebouwd als een team van specialisten. Voor elk stukje tekst kiest het alleen de experts die ervoor nodig zijn, wat rekenwerk bespaart.
Een mixture of experts, kort MoE, is een AI-model dat is gebouwd als een team van specialisten. In plaats van dat het hele model voor elk stukje tekst meerekent, kiest het een paar experts uit een grote groep. Alleen die rekenen mee. Het is te vergelijken met een ziekenhuis: je loopt voor een gebroken pols ook niet langs alle specialisten, maar gaat naar de juiste.
Hoe werkt het?
Een mixture-of-experts-model bevat veel kleine deelnetwerken, de experts, en een onderdeel dat de keuze maakt, de router. Voor elk stukje tekst bepaalt de router welke experts worden ingezet. De rest blijft die ronde rusten.
Daardoor kan zo'n model heel groot zijn, met veel kennis, terwijl het per woord maar een deel van het rekenwerk doet. Dat maakt het sneller en zuiniger dan een model van dezelfde grootte waarin alles altijd meedoet. Het model moet wel al die experts in het geheugen bewaren, en dat vraagt veel geheugenruimte.
Waarom het ertoe doet
Veel nieuwe taalmodellen zijn zo gebouwd. Dat heeft gevolgen voor de chips waarop ze draaien. In zo'n model zitten grofweg twee soorten stappen, en de stap waarin de experts hun werk doen, vraagt vooral dat de chip heel snel bij zijn geheugen kan. Het chipbedrijf d-Matrix gebruikte dat en verdeelde het werk over twee soorten chips, waarbij gewone grafische chips en eigen chips elk doen waar ze goed in zijn (link). Zo verschijnen antwoorden sneller.
Het voordeel gaat niet zomaar op voor elk model: de aanpak werkt alleen bij modellen die met experts werken, al zijn dat er steeds meer.
Artikelen over Mixture of experts
-
Anthropic bouwt FlashProve: cryptografisch bewijs welk AI-model een antwoord produceerde
Anthropic publiceerde FlashProve, een open-source onderzoeksprototype dat met zero-knowledge-cryptografie aantoonbaar maakt welk model een antwoord genereerde, zonder de modelgewichten vrij te geven.
-
Gratis programmeermodel voor de laptop is grotendeels door AI zelf ontwikkeld
Het AI-bedrijf Recursive heeft Flint uitgebracht, een gratis AI-model dat helpt bij programmeren en op een gewone laptop draait. Volgens het bedrijf deed zijn eigen onderzoeks-AI een groot deel van het werk: een eerste stap richting AI die zichzelf verbetert.
-
d-Matrix verdeelt het werk van een AI-model over twee soorten chips voor snellere antwoorden
Het Amerikaanse chipbedrijf d-Matrix liet op een grote datacenterbeurs zien hoe een AI-model sneller antwoordt als gewone grafische chips en eigen chips elk het werk doen waar ze goed in zijn. Het bedrijf levert nu ook complete rekenclusters.
-
Meta maakt Muse Spark Open vrij beschikbaar: groot AI-model voor programmeren, ook op eigen computers
Meta heeft Muse Spark Open uitgebracht, een groot AI-model voor programmeren en zelfstandige agenttaken dat iedereen kan downloaden. Volgens Meta is het het sterkste Amerikaanse open model tot nu toe, en het draait zelfs op twee Mac Studio's.
-
Gemini 4 Argon breed beschikbaar: Google terug bij de koplopers
Google heeft Gemini 4 Argon breed uitgerold. Op papier wint het van GPT-6 Astra en Claude Opus 5.5 op 13 van 19 benchmarks, maar onafhankelijke metingen zetten het naast de concurrentie, niet erboven. De grootste sprong zit in prijs, lange context en wetenschap.
