O Google apresentou duas novas Tensor Processing Units, a TPU 8t para treinamento e a TPU 8i para inferência, voltadas para o que a empresa chama de era agentiva da IA. Esses chips de oitava geração sucedem a TPU Ironwood de 2025 e prometem um desenvolvimento de IA mais rápido e eficiente. O hardware visa reduzir o tempo de treinamento de grandes modelos de meses para semanas.
O Google anunciou a TPU 8t e a TPU 8i na terça-feira, posicionando-as como aceleradores especializados para diferentes estágios dos ciclos de vida de modelos de IA. A TPU 8t foca no treinamento de modelos de fronteira, com clusters de servidores atualizados chamados pods que comportam 9.600 chips e dois petabytes de memória compartilhada de alta largura de banda. O Google afirma que esses pods entregam 121 FP4 EFlops de computação, quase três vezes mais que a geração anterior Ironwood, e podem escalar linearmente para um milhão de chips em um único cluster. A empresa reivindica uma taxa de 'goodpute' de 97 por cento, graças ao melhor gerenciamento de memória, gestão automática de falhas e telemetria em tempo real entre os chips, reduzindo desperdício de tempo e esforço. O tempo de treinamento para modelos massivos de IA deve cair de meses para semanas, segundo o Google. A TPU 8i lida com a inferência, a fase em que modelos treinados geram respostas. Esses chips operam em pods maiores de 1.152 unidades, fornecendo 11,6 EFlops por pod. Cada TPU 8i apresenta o triplo de SRAM no chip, totalizando 384 MB, permitindo caches de chave-valor maiores para modelos com janelas de contexto estendidas. Pela primeira vez, os chips são combinados exclusivamente com as CPUs ARM personalizadas Axion do Google, usando uma CPU para cada duas TPUs, o que, segundo o Google, aumenta a eficiência geral em comparação com a configuração x86 anterior que atendia quatro TPUs. Os ganhos de eficiência se estendem à energia e refrigeração. As novas TPUs oferecem o dobro do desempenho por watt da Ironwood, enquanto os projetos de data centers que integram rede e computação aumentaram a potência computacional por unidade de eletricidade em seis vezes. A refrigeração líquida agora usa válvulas controladas ativamente para ajustar o fluxo de água às cargas de trabalho. Esses chips suportarão os agentes baseados em Gemini do Google e desenvolvedores terceiros por meio de frameworks como JAX, MaxText, PyTorch, SGLang e vLLM. As ações da Nvidia caíram brevemente 1,5 por cento após a notícia, mas se recuperaram.
