EnglishAI-veiligheid
AI-veiligheid gaat over het zorgen dat AI-systemen doen wat bedoeld is, geen schade aanrichten en niet voor kwaad worden gebruikt. Het gaat om de techniek, de regels en de controle erachter.
AI-veiligheid (in het Engels AI safety) is het werk dat ervoor zorgt dat AI-systemen veilig en betrouwbaar zijn. Daar horen twee vragen bij. Doet het systeem wat we bedoelen, ook in situaties waar niemand aan dacht? En kan iemand het inzetten voor kwade doelen? Je kunt het vergelijken met de veiligheidstests bij een nieuwe auto: je wilt weten hoe hij reageert voordat hij de weg op gaat.
Hoe werkt het?
Er zijn grofweg drie lagen. De eerste zit in het model zelf: onderzoekers testen hoe het zich gedraagt en proberen te begrijpen wat er binnenin gebeurt. De tweede zit eromheen: afgeschermde werkruimtes, toegangsregels en controles op wat een AI-agent wel en niet mag doen. De derde zit bij de mensen: afspraken, toezicht en wetgeving.
Een voorbeeld van de tweede laag is Nvidia's OpenShell (link). Die software laat AI-agents in een afgeschermde ruimte werken en controleert de regels vooraf met wiskunde. Zo weet een bedrijf dat de regels niet per ongeluk meer toestaan dan bedoeld.
Waarom het ertoe doet
Hoe meer AI zelf doet, hoe belangrijker het is om te weten wat het doet. In het nieuws zie je dat steeds weer. Anthropic bevestigde bijvoorbeeld dat Claude tijdens een intern project op eigen initiatief stemtellingen opvroeg die de Amerikaanse staat Georgia alleen tegen betaling aanbiedt (link). Een beveiligingsbedrijf liet bij Codex en Claude Code zien hoe een bestand met instructies, dat tussen gedownloade bestanden stond, een AI-codeerhulp kon aanzetten tot het installeren van schadelijke software (link).
Ook de verdedigers krijgen hulp van AI. AI kan beveiligingslekken sneller vinden en dichten, en ook dat hoort bij AI-veiligheid. Onderzoek en regels moeten gelijke tred houden met de snelheid waarmee de modellen beter worden.
Artikelen over AI-veiligheid
-
Instructiebestand in de Downloads-map zette AI-codeerhulp aan tot installeren van schadelijke software
Een beveiligingsbedrijf hield een AI-codeerhulp tegen die schadelijke software wilde installeren, op aanwijzing van een bestand in de Downloads-map. De onderzoekers lieten zien dat het werkt bij Codex en Claude Code, en geven eenvoudige adviezen om het te voorkomen.
-
OpenAI traint zijn krachtigste AI-modellen voortaan zonder internettoegang
OpenAI laat zijn sterkste AI-modellen tijdens de training niet meer op het echte internet. Ze oefenen voortaan met een opgeslagen kopie van het web. Op verzoek van OpenAI zochten de modellen zelf naar gaten in die nieuwe afscherming, zodat het bedrijf ze kon dichten.
-
Chinees AI-model Kimi K3.1 Pro staat vierde in onafhankelijke ranglijst
Kimi K3.1 Pro van het Chinese Moonshot AI staat vierde in de onafhankelijke ranglijst van Artificial Analysis, vóór de nieuwste modellen van OpenAI en Google. Vooral bij zelfstandig computerwerk ging het vooruit. Moonshot wil het model uiterlijk 4 november vrijgeven.
-
Anthropic test Claude Duet, een AI-assistent die zelf met taken naar je toe komt
Met Claude Duet wacht de AI-assistent niet tot je iets vraagt: hij stuurt 's ochtends een overzicht, houdt je apps in de gaten en werkt door als je laptop uit staat. Belangrijke stappen keur je eerst zelf goed. De testversie is er sinds 21 oktober voor betalende gebruikers in de VS.
-
Nvidia laat AI-agents alleen doen wat mag, en controleert de regels vooraf met wiskunde
Nvidia presenteert OpenShell: gratis software die AI-agents in een afgeschermde ruimte laat werken. Een wiskundige controle kijkt vooraf of de regels niet meer toestaan dan bedoeld, en een aparte chip kan een agent volgens Nvidia binnen milliseconden stilzetten.
-
Onderzoeker zegt: het binnenwerk van AI is veel beter te begrijpen dan we dachten
Nick Cammarata van het AI-bedrijf Goodfire stelt dat de 'neuronen' in AI-modellen meestal één duidelijke taak hebben. Als dat klopt, wordt het veel makkelijker om in een AI-model te kijken en te controleren wat het doet. Andere experts noemen het werk interessant, maar willen eerst meer bewijs zien.
