グーグル、プライバシーとメモリーに焦点を当てた新AIシステムでNvidiaに対抗

グーグルは月曜日、プライバシー保護やメモリー集約型の処理向けに設計したAIコンピューティングシステム、TPU 8txとTPU 8i Maxを発表し、Nvidiaに対抗した。今回の追加により、AIモデルの学習と実行に使う第8世代Tensor Processing Unitのラインアップは4構成に拡大する。グーグルによると、AI研究所や大学を含む100社近くがTPUを利用している。

TPUはAI専用に設計されたアクセラレーターで、広く使われるNvidiaの画像処理装置（GPU）とは異なる。グーグルは当初、自社サービス向けにTPUを開発したが、オンプレミスの顧客を含む外部企業にも利用機会を広げている。グーグルのチーフ・テクノロジスト兼AI・インフラ担当上級副社長、アミン・ヴァダット氏は、コンピューティングがエージェント中心へと移るなか、企業は膨大なモデルのコンテキストウィンドウを処理できるアクセラレーターを求めていると記した。

TPU 8txは、AI処理中に機密情報を保護するという課題に対応する。保存中や転送中のデータは暗号化で保護できるが、処理するには通常、情報をメモリー上で復号する必要がある。グーグルによると、ハードウェアレベルのコンフィデンシャル・コンピューティングは、システムの稼働中に顧客情報と独自のモデルパラメーターを隔離する。TPU 8txはTPU 8tのシリコン、AMDの第5世代EPYCプロセッサー、グーグルの低遅延ネットワーク「Boardfly」を組み合わせる。グーグルは、TPU 8txではTPU 8tに比べて遅延を最大半分に減らせる一方、追加の保護による性能への影響はほぼないとしている。そのため、プライバシーに配慮が必要な処理でも速度と精度を維持できる。企業は同じシステムでモデルのファインチューニングと実行の両方を行い、機密情報をクラスター間で移すことを避けられる。ただし、コンフィデンシャル・コンピューティングでも、アクセス権のある情報を不適切に扱うよう設計されたAIエージェントを止めることはできない。

TPU 8i Maxは、大規模なデータセット、コードベース、文書、数時間分の動画を分析する自律型エージェントを妨げるメモリーの制約に対応する。こうしたエージェントには、従来型のAI処理よりはるかに多くの情報に素早くアクセスする必要がある。グーグルはTPU 8iチップ2基を一体化し、TPU 8iと比べて計算能力、チップ内SRAM、高帯域メモリーの転送能力をそれぞれ2倍にする。この構成は、ラック内の設置面積を変えずにシリコンを2倍搭載できる。ヴァダット氏は、TPU 8i Maxが解決を目指す課題はメモリーの制約だと説明した。

グーグルは、AIの作業メモリーをチップ、サーバー、ストレージ間で移動させるオープンソースソフトウエア「TPU Sync」を公開する。グーグルによると、このシステムは一部のデータ転送遅延や応答開始までの時間を90%超短縮できる。グーグルはチップ速度だけでなく、ハードウェアと専用ソフトウエアの両面で競争している。同社のオープンソースプロジェクト「TorchTPU」を使えば、開発者はアプリケーションを書き換えずにPyTorchやHugging FaceのモデルをTPU上で実行できる。

グーグルがTPUのラインアップを拡充するなか、Nvidiaはウォール街からの圧力を強めている。Nvidia株は木曜日に9.3%下落した。ジェンスン・フアン最高経営責任者（CEO）が、中国のためにスパイ活動をしていると米情報機関が疑う女性との不倫関係を認めた後、月曜日の取引でもNvidia株はさらに5%下落した。Nvidiaの取締役会は独立調査を開始した。一方、Nvidiaは企業秘密が漏えいした証拠はないとしている。このスキャンダルは、競合他社がAI半導体でのNvidiaの支配的地位に挑むなか、同社の成長をめぐる懸念に拍車をかけている。

報道によると、OpenAIはNvidiaへの依存を減らすため、グーグルのTPUを購入する計画だ。この計画はまだ確認されていない。グーグルが提供するチップの選択肢が広がれば、AI開発企業の交渉力が高まり、Nvidiaの市場シェアや将来の成長期待を脅かす可能性がある。ただし、グーグルの性能に関する主張は新システムを従来のグーグル製ハードウェアと比較したもので、Nvidiaの最新製品との比較ではない。グーグルはTPU 8txとTPU 8i Maxの価格と発売時期を明らかにしていない。