Google défie Nvidia avec de nouveaux systèmes d'IA axés sur la confidentialité et la mémoire

Google a présenté lundi les TPU 8tx et TPU 8i Max, défiant Nvidia avec des systèmes de calcul pour l'IA conçus pour la confidentialité et les tâches gourmandes en mémoire. Ces nouveautés portent à quatre le nombre de configurations de la gamme de huitième génération de Tensor Processing Units de Google, destinées à entraîner et à exécuter des modèles d'IA. Google affirme que près de 100 clients utilisent ses TPU, parmi lesquels des laboratoires d'IA et des universités.

Les TPU sont des accélérateurs conçus spécifiquement pour l'IA, contrairement aux processeurs graphiques de Nvidia, largement utilisés. Google a initialement développé les TPU pour ses propres services, mais propose de plus en plus aux entreprises externes d'y accéder, y compris à ses clients qui les utilisent sur site. Amin Vahdat, directeur technique et vice-président senior de Google pour l'IA et les infrastructures, a écrit que les entreprises veulent des accélérateurs capables de raisonner sur d'immenses fenêtres de contexte des modèles, alors que l'informatique évolue vers les agents.

La TPU 8tx vise à relever le défi de la protection des informations sensibles pendant le traitement par l'IA. Le chiffrement protège les données stockées et celles en transit, mais leur traitement nécessite généralement leur déchiffrement en mémoire. Google affirme que le calcul confidentiel au niveau matériel isole les informations des clients et les paramètres propriétaires des modèles pendant le fonctionnement du système. La TPU 8tx associe une puce TPU 8t à des processeurs AMD EPYC de cinquième génération et au réseau Boardfly à faible latence de Google. Google affirme que la TPU 8tx peut réduire la latence jusqu'à moitié par rapport à la TPU 8t, tandis que la protection supplémentaire entraîne une pénalité de performances presque nulle. Les tâches sensibles en matière de confidentialité conservent ainsi leur vitesse et leur précision. Les entreprises pourraient utiliser un même système pour affiner les modèles et les exécuter, évitant ainsi de transférer des informations sensibles entre des grappes de serveurs. Toutefois, le calcul confidentiel ne peut empêcher un agent d'IA mal conçu de mal gérer les informations auxquelles il est autorisé à accéder.

La TPU 8i Max vise les limites de mémoire auxquelles se heurtent les agents autonomes qui analysent de vastes jeux de données, des bases de code, des documents ou des heures de vidéo. Ces agents ont besoin d'accéder rapidement à beaucoup plus d'informations que les charges de travail classiques de l'IA. Google regroupe deux puces TPU 8i, doublant ainsi la puissance de calcul, la mémoire SRAM intégrée et le débit de la mémoire à large bande passante par rapport à la TPU 8i. Cette configuration permet d'intégrer deux fois plus de silicium dans un espace en rack inchangé. Vahdat a présenté les limites de mémoire comme le problème auquel la TPU 8i Max est destinée à répondre.

Google lance TPU Sync, un logiciel open source destiné à déplacer la mémoire de travail de l'IA entre les puces, les serveurs et les systèmes de stockage. Google affirme que le système peut réduire de plus de 90 % certains délais de transfert de données et de démarrage des réponses. Google est en concurrence grâce à des logiciels spécialisés autant qu'à du matériel, et pas uniquement à la vitesse des puces. Le projet open source TorchTPU de Google permet aux développeurs d'exécuter des modèles PyTorch et Hugging Face sur des TPU sans réécrire leurs applications.

Nvidia subit une pression croissante de Wall Street alors que Google élargit sa gamme de TPU. L'action Nvidia a chuté de 9,3 % jeudi. Elle a encore reculé de 5 % pendant les échanges lundi, après que le directeur général Jensen Huang a reconnu une liaison extraconjugale avec une femme soupçonnée par les services de renseignement américains d'espionner pour la Chine. Le conseil d'administration de Nvidia a ouvert une enquête indépendante. Nvidia affirme toutefois ne disposer d'aucun élément indiquant que des secrets de l'entreprise aient été compromis. Ce scandale s'ajoute aux inquiétudes concernant la croissance de Nvidia, alors que des concurrents contestent sa domination sur les puces pour l'IA.

OpenAI prévoirait, selon des informations de presse, d'acheter des TPU de Google afin de réduire sa dépendance à Nvidia. Ce projet rapporté n'a pas été confirmé. L'élargissement de l'offre de puces de Google pourrait renforcer le pouvoir de négociation des développeurs d'IA, menaçant potentiellement la part de marché de Nvidia et les prévisions de croissance future. Toutefois, les comparaisons de performances de Google portent sur ses anciens équipements, et non sur les produits les plus récents de Nvidia. Google n'a communiqué ni les prix ni les dates de disponibilité des TPU 8tx et TPU 8i Max.