Google desafia a Nvidia com novos sistemas de IA voltados à privacidade e à memória

O Google apresentou na segunda-feira a TPU 8tx e a TPU 8i Max, desafiando a Nvidia com sistemas de computação para IA projetados para privacidade e cargas de trabalho intensivas em memória. As novidades ampliam para quatro configurações a linha de unidades de processamento tensorial de oitava geração do Google, destinadas ao treinamento e à execução de modelos de IA. Segundo o Google, quase 100 clientes usam TPUs, entre eles laboratórios de IA e universidades.

As TPUs são aceleradores projetados especificamente para IA, ao contrário das unidades de processamento gráfico da Nvidia, amplamente utilizadas. O Google desenvolveu originalmente as TPUs para seus próprios serviços, mas oferece cada vez mais acesso a empresas externas, inclusive clientes que instalam os equipamentos em suas próprias instalações. Amin Vahdat, diretor de tecnologia e vice-presidente sênior de IA e infraestrutura do Google, escreveu que as empresas querem aceleradores capazes de raciocinar com janelas de contexto enormes dos modelos, à medida que a computação passa a se voltar para agentes.

A TPU 8tx enfrenta o desafio de proteger informações confidenciais durante o processamento de IA. A criptografia protege dados armazenados e em trânsito, mas o processamento geralmente exige que as informações sejam descriptografadas na memória. Segundo o Google, a computação confidencial no nível do hardware isola as informações dos clientes e os parâmetros proprietários dos modelos enquanto o sistema está em operação. A TPU 8tx combina silício TPU 8t com processadores AMD EPYC de quinta geração e a rede Boardfly, de baixa latência, do Google. O Google afirma que a TPU 8tx pode reduzir a latência em até metade em comparação com a TPU 8t, enquanto a proteção adicional impõe uma penalidade de desempenho quase nula. Assim, tarefas sensíveis à privacidade mantêm velocidade e precisão. As empresas poderiam usar um único sistema tanto para ajustar modelos quanto para executá-los, evitando transferências de informações confidenciais entre clusters. No entanto, a computação confidencial não pode impedir que um agente de IA mal projetado trate de forma inadequada informações às quais está autorizado a acessar.

A TPU 8i Max busca resolver as limitações de memória que afetam agentes autônomos que analisam grandes conjuntos de dados, bases de código, documentos ou horas de vídeo. Esses agentes precisam de acesso rápido a muito mais informações do que as cargas de trabalho convencionais de IA. O Google combina dois chips TPU 8i, dobrando o poder de computação, a memória SRAM no chip e a largura de banda da memória de alta capacidade em comparação com a TPU 8i. A configuração comporta o dobro de silício no mesmo espaço de rack. Vahdat descreveu as limitações de memória como o problema que a TPU 8i Max foi projetada para resolver.

O Google está lançando o TPU Sync como software de código aberto para transferir a memória de trabalho de IA entre chips, servidores e armazenamento. A empresa afirma que o sistema pode reduzir em mais de 90% certos atrasos na transferência de dados e nos tempos de início das respostas. O Google compete com software especializado, além de hardware, em vez de depender apenas da velocidade dos chips. O projeto de código aberto TorchTPU do Google permite que desenvolvedores executem modelos do PyTorch e do Hugging Face em TPUs sem reescrever aplicações.

A Nvidia enfrenta pressão crescente de Wall Street à medida que o Google amplia sua linha de TPUs. As ações da Nvidia caíram 9,3% na quinta-feira. Os papéis recuaram mais 5% durante o pregão de segunda-feira, depois que o CEO Jensen Huang reconheceu um caso extraconjugal com uma mulher suspeita pela inteligência dos EUA de espionar para a China. O conselho da Nvidia iniciou uma investigação independente. No entanto, a empresa afirma não ter provas de que segredos corporativos tenham sido comprometidos. O escândalo se soma às preocupações com o crescimento da Nvidia, enquanto concorrentes desafiam seu domínio em chips de IA.

Segundo relatos, a OpenAI planeja comprar TPUs do Google para reduzir sua dependência da Nvidia. O plano relatado ainda não foi confirmado. A oferta mais ampla de chips do Google poderia fortalecer o poder de negociação dos desenvolvedores de IA, potencialmente ameaçando a participação de mercado da Nvidia e as expectativas de crescimento futuro. No entanto, as alegações de desempenho do Google comparam os novos sistemas com hardware anterior da própria empresa, e não com os produtos mais recentes da Nvidia. O Google não divulgou preços nem datas de disponibilidade para a TPU 8tx e a TPU 8i Max.