EnglishGoogle breidt achtste generatie TPU-systemen uit met 8tx en 8i Max
Google kondigt twee nieuwe AI-systemen aan: de TPU 8tx, die gevoelige gegevens ook tijdens het rekenen afschermt, en de TPU 8i Max, die veel meer informatie tegelijk aankan. Het is voor het eerst dat Google vier TPU-systemen in één jaar uitbrengt.
Google brengt dit jaar voor het eerst vier TPU-systemen uit. Dat schrijft Amin Vahdat, die bij Google de techniek achter AI en datacenters leidt, in een blog. Een TPU (Tensor Processing Unit) is een processor die Google zelf ontwerpt voor AI-berekeningen. In april liet het bedrijf de TPU 8t en de TPU 8i zien. Nu komen daar de TPU 8tx en de TPU 8i Max bij.
Het gaat volgens Google niet om nieuwe chips, maar om nieuwe systemen: bestaande chips in een andere combinatie met geheugen, netwerk en andere processors. Een prijs of datum noemt Google niet. Volgens vakblad TechTarget moeten de 8t en 8i eind dit jaar in gebruik komen.
Gevoelige gegevens afgeschermd
De TPU 8tx is bedoeld voor organisaties die met gevoelige gegevens werken, zoals overheden en bedrijven die zich aan strenge regels moeten houden. Volgens Google blijven de gegevens en het AI-model zelf afgeschermd, ook terwijl de chip ermee rekent. Die bescherming zit in de hardware. Mark Lohmeyer van Google Cloud zegt tegen TechTarget dat de gegevens daarbij versleuteld blijven.
De 8tx gebruikt dezelfde chips als de 8t, samen met processors van AMD (de vijfde generatie EPYC). Dankzij een snel netwerk tussen de chips is de vertraging volgens Google tot twee keer kleiner dan bij de 8t, en kost de beveiliging bijna geen snelheid. Organisaties kunnen zo op één systeem een AI-model bijleren met hun eigen gegevens en AI-agents trainen, zonder die gegevens naar een ander systeem te hoeven verplaatsen.
Meer informatie tegelijk
De TPU 8i Max is gemaakt voor taken waarbij een AI-model heel veel informatie tegelijk moet meenemen, bijvoorbeeld een lang gesprek of een stapel documenten. Google zet daarvoor twee 8i-chips samen in één behuizing. Daardoor heeft het systeem twee keer zoveel rekenkracht en twee keer zoveel snel geheugen op de chip als een gewone 8i, en kan het twee keer zo snel gegevens uit zijn werkgeheugen halen. Volgens TechTarget gaat het om 768 megabyte geheugen op de chips zelf en een geheugensnelheid van 17,2 terabyte per seconde.
Over de eerder aangekondigde systemen zegt Google dat de 8t tot 2,7 keer beter traint dan de vorige generatie. De 8i, bedoeld om snel antwoorden te geven, levert volgens Google voor hetzelfde geld 80 procent meer op. Al deze cijfers komen van Google zelf.
Software erbij
Vorige maand maakte Google TorchTPU openbaar. Daarmee draaien programma's die in PyTorch zijn geschreven, een veelgebruikt hulpmiddel om AI te bouwen, en modellen van het platform Hugging Face meteen op TPU's. Ook is er een eerste versie van open software met AI-agents die ontwikkelaars helpt hun programma's op TPU's sneller te maken. Een ander nieuw onderdeel, TPU Sync, maakt volgens Google de wachttijd tot het eerste woord van een antwoord meer dan 90 procent korter.
Volgens Google gebruiken nu bijna 100 klanten TPU's, van AI-labs en handelsbedrijven tot winkelketens en universiteiten.
Wat betekent dit voor de weg naar de singulariteit?
AI-agents worden pas echt nuttig als ze met veel informatie tegelijk kunnen werken en als organisaties ze hun gevoelige gegevens durven toevertrouwen. Deze systemen pakken precies die twee punten aan. Dat AI-bedrijven nu zelf chips en systemen voor elk soort taak ontwerpen, laat zien hoe snel de rekenkracht onder AI groeit.
