EnglishBaidu geeft groot AI-model ERNIE 5.5 Flash Base vrij, maar niet voor Europa
Het Chinese techbedrijf Baidu heeft een groot AI-model vrijgegeven dat ontwikkelaars zelf verder kunnen trainen. Het model is snel en zuinig gebouwd en scoort volgens Baidu goed in tests. De licentie geldt alleen niet in de EU, het Verenigd Koninkrijk en Zuid-Korea.
Het Chinese techbedrijf Baidu heeft op 5 november ERNIE 5.5 Flash Base uitgebracht. Dat is een groot AI-taalmodel waarvan Baidu de gewichten deelt: de getallen waarin alles zit wat het model heeft geleerd. Ontwikkelaars kunnen het model daardoor downloaden via Hugging Face, een veelgebruikte website voor AI-modellen, en er zelf mee verder werken.
Een model in de basisstand
Het bijzondere is dat Baidu het model deelt in zijn basisstand. Een taalmodel wordt in twee fases gemaakt. Eerst leest het enorme hoeveelheden tekst en leert het voorspellen welk woord volgt. Daarna wordt het bijgeschaafd tot een assistent die vragen beantwoordt en opdrachten uitvoert. Baidu geeft nu het model van na de eerste fase vrij. Die fase is veruit de duurste. Bedrijven en onderzoekers kunnen de tweede fase zelf doen, bijvoorbeeld om het model te trainen voor de taal van hun vakgebied. De versie die als assistent is bijgeschaafd, volgt later, meldt Baidu.
Het model heeft 280 miljard parameters, de instelbare getallen van een AI-model. Het is opgebouwd uit 512 kleine deelnetwerken die elk in iets anders goed zijn. Per woord zet het model er maar een paar aan, samen ongeveer 14 miljard parameters. Zo blijft het rekenwerk per woord veel kleiner dan bij een even groot model dat steeds alles gebruikt. Baidu trainde het model op 33,5 biljoen stukjes tekst. Na verder trainen kan het volgens Baidu teksten van ongeveer een miljoen stukjes tegelijk verwerken, genoeg voor een paar dikke boeken.
Zuinig met geheugen
Baidu zegt dat het model vanaf het begin zuinig is ontworpen. Een taalmodel moet tijdens het werk onthouden wat er eerder in de tekst stond, en bij lange teksten kost dat veel geheugen. Daarom kijkt maar één op de zeven lagen van het model naar elk afzonderlijk stukje tekst. De andere lagen bewaren een samenvatting per blok van 128 stukjes. Daarnaast kan de laatste laag van het model alvast een paar volgende woorden raden, waardoor het sneller antwoord geeft.
In Baidu's eigen tests scoort het model op de meeste van de dertig onderdelen beter dan vergelijkbare basismodellen van DeepSeek, Tencent en Xiaomi. Op een bekende kennistest haalt het 93,3 procent, tegen 89,4 procent voor het model van DeepSeek. Dit zijn cijfers van Baidu zelf; onafhankelijke metingen zijn er nog niet.
Niet voor Europa
De licentie van het model heeft twee opvallende regels. Hij geldt niet in de Europese Unie, het Verenigd Koninkrijk en Zuid-Korea: daar mag het model niet worden gebruikt of verspreid. Ook Nederlandse ontwikkelaars mogen er dus niet mee werken. Verder mogen bedrijven het gratis gebruiken zolang hun producten met het model minder dan 50 miljoen dollar per jaar opleveren. Daarboven is eerst schriftelijke toestemming van Baidu nodig. Ook mag het model niet worden gebruikt om andere AI-modellen te verbeteren.
Wat betekent dit voor de weg naar de singulariteit?
Het duurste deel van het maken van een taalmodel is de eerste trainingsfase. Door die stap te delen, kunnen veel meer bedrijven en onderzoekers een krachtig eigen model bouwen zonder zelf maanden te hoeven rekenen. De zuinige bouw laat ook zien hoe grote modellen goedkoper kunnen draaien. Dat Europa voorlopig buiten de licentie valt, maakt duidelijk dat wie zulke modellen mag gebruiken, ook van afspraken afhangt.
