Google har introducerat två nya Tensor Processing Units, TPU 8t för träning och TPU 8i för inferens, inriktade på vad företaget kallar AI:s agentiska era. Dessa åttonde generationens chip följer efter Ironwood TPU från 2025 och lovar snabbare och mer effektiv AI-utveckling. Hårdvaran syftar till att korta ner träningstiderna för stora modeller från månader till veckor.
Google tillkännagav TPU 8t och TPU 8i på tisdagen och positionerade dem som specialiserade acceleratorer för olika skeden i AI-modellernas livscykler. TPU 8t fokuserar på träning av gränsöverskridande modeller med uppdaterade serverkluster som kallas pods, vilka rymmer 9 600 chip och två petabyte delat minne med hög bandbredd. Google uppger att dessa pods levererar 121 FP4 EFlops beräkningskapacitet, nästan tre gånger högre än den föregående Ironwood-generationen, och att de kan skalas linjärt till en miljon chip i ett enda kluster. Företaget hävdar en "goodpute"-grad på 97 procent tack vare förbättrad minneshantering, automatisk felhantering och telemetri i realtid över alla chip, vilket minskar spilltid och ansträngning. Träningstiderna för massiva AI-modeller förväntas enligt Google sjunka från månader till veckor. TPU 8i hanterar inferens, fasen där tränade modeller genererar svar. Dessa chip arbetar i större pods om 1 152 enheter och tillhandahåller 11,6 EFlops per pod. Varje TPU 8i har tre gånger så mycket SRAM på chippet, totalt 384 MB, vilket möjliggör större key-value-cachar för modeller med utökade kontextfönster. För första gången paras chippen uteslutande ihop med Googles egna Axion ARM-processorer, med en CPU per två TPU:er, vilket Google menar ökar den totala effektiviteten jämfört med den tidigare x86-konfigurationen som servade fyra TPU:er. Effektivitetsvinsterna sträcker sig även till strömförbrukning och kylning. De nya TPU:erna erbjuder dubbelt så hög prestanda per watt jämfört med Ironwood, medan datacenterdesigner som integrerar nätverk och beräkning har ökat beräkningskraften per elektrisk enhet sexfaldigt. Vätskekylningen använder nu aktivt styrda ventiler för att anpassa vattenflödet efter arbetsbelastningen. Dessa chip kommer att stödja Googles Gemini-baserade agenter samt tredjepartsutvecklare via ramverk som JAX, MaxText, PyTorch, SGLang och vLLM. Nvidias aktie sjönk kortvarigt med 1,5 procent efter nyheten men återhämtade sig.
