Google desafía a Nvidia con nuevos sistemas de IA centrados en la privacidad y la memoria

Google presentó el lunes TPU 8tx y TPU 8i Max, con lo que desafía a Nvidia con sistemas de computación para IA diseñados para cargas de trabajo que requieren privacidad y mucha memoria. Las incorporaciones amplían a cuatro configuraciones la línea de unidades de procesamiento tensorial de octava generación de Google para entrenar y ejecutar modelos de IA. Google afirma que casi 100 clientes usan sus TPU, entre ellos laboratorios de IA y universidades.

Las TPU son aceleradores diseñados específicamente para la IA, a diferencia de las unidades de procesamiento gráfico de Nvidia, ampliamente utilizadas. Google desarrolló originalmente las TPU para sus propios servicios, pero cada vez ofrece más acceso a empresas externas, incluidas las que usan sus propios centros de datos. Amin Vahdat, director tecnológico y vicepresidente sénior de IA e infraestructura de Google, escribió que las empresas quieren aceleradores capaces de razonar sobre ventanas de contexto enormes de los modelos, a medida que la computación se orienta hacia los agentes.

TPU 8tx aborda el desafío de proteger información sensible durante el procesamiento de IA. El cifrado protege los datos almacenados y los que están en tránsito, pero el procesamiento suele requerir que la información se descifre en la memoria. Google afirma que la computación confidencial a nivel de hardware aísla la información de los clientes y los parámetros de modelos patentados mientras el sistema está en funcionamiento. TPU 8tx combina silicio TPU 8t con procesadores AMD EPYC de quinta generación y la red Boardfly de baja latencia de Google. Google afirma que TPU 8tx puede reducir la latencia hasta a la mitad frente a TPU 8t, mientras que la protección adicional prácticamente no afecta al rendimiento. Así, las tareas sensibles a la privacidad conservan la velocidad y la precisión. Las empresas podrían utilizar un mismo sistema tanto para ajustar modelos como para ejecutarlos, evitando transferir información sensible entre clústeres. Sin embargo, la computación confidencial no puede impedir que un agente de IA mal diseñado gestione mal la información a la que está autorizado a acceder.

TPU 8i Max busca resolver las limitaciones de memoria que afectan a los agentes autónomos que analizan grandes conjuntos de datos, bases de código, documentos o varias horas de vídeo. Estos agentes necesitan acceder rápidamente a mucha más información que las cargas de trabajo convencionales de IA. Google agrupa dos chips TPU 8i, con lo que duplica la potencia de cálculo, la memoria SRAM integrada en el chip y el rendimiento de la memoria de alto ancho de banda frente a TPU 8i. La configuración permite incluir el doble de silicio en un espacio de bastidor sin cambios. Vahdat describió las limitaciones de memoria como el problema que TPU 8i Max está diseñado para resolver.

Google lanza TPU Sync como software de código abierto para trasladar la memoria de trabajo de IA entre chips, servidores y almacenamiento. Google afirma que el sistema puede reducir en más del 90 % ciertas demoras en la transferencia de datos y los tiempos de inicio de respuesta. Google compite mediante software especializado además de hardware, en lugar de hacerlo únicamente por la velocidad de sus chips. El proyecto de código abierto TorchTPU de Google permite a los desarrolladores ejecutar modelos de PyTorch y Hugging Face en TPU sin reescribir las aplicaciones.

Nvidia afronta una presión cada vez mayor de Wall Street a medida que Google amplía su línea de TPU. Las acciones de Nvidia cayeron un 9,3 % el jueves. Bajaron otro 5 % durante la sesión del lunes, después de que el consejero delegado Jensen Huang reconociera una relación extramatrimonial con una mujer sospechosa, según los servicios de inteligencia de Estados Unidos, de espiar para China. El consejo de administración de Nvidia ha iniciado una investigación independiente. Sin embargo, Nvidia afirma que la empresa no tiene pruebas de que se hayan comprometido secretos corporativos. El escándalo agrava las preocupaciones sobre el crecimiento de Nvidia mientras sus competidores desafían su dominio en los chips de IA.

Según informaciones, OpenAI planea comprar las TPU de Google para reducir su dependencia de Nvidia. El plan del que se ha informado no está confirmado. La oferta más amplia de chips de Google podría reforzar la posición negociadora de los desarrolladores de IA y, potencialmente, amenazar la cuota de mercado de Nvidia y las expectativas sobre su crecimiento futuro. Sin embargo, las afirmaciones de rendimiento de Google comparan los nuevos sistemas con hardware anterior de Google, no con los productos más recientes de Nvidia. Google no comunicó los precios ni las fechas de disponibilidad de TPU 8tx y TPU 8i Max.