谷歌推出注重隐私和内存的新AI系统，挑战英伟达

谷歌周一推出TPU 8tx和TPU 8i Max，以面向隐私保护和内存密集型工作负载的AI计算系统挑战英伟达。新增产品将谷歌第八代张量处理单元（TPU）产品线扩展至四种配置，用于训练和运行AI模型。谷歌称，近100家客户在使用TPU，其中包括AI实验室和大学。

TPU是专为AI设计的加速器，不同于英伟达广泛使用的图形处理器。谷歌最初为自家服务开发TPU，但如今越来越多地向外部企业开放使用，包括在客户本地部署的客户。谷歌首席技术专家兼AI与基础设施高级副总裁阿明·瓦赫达特写道，随着计算日益转向智能体，企业希望加速器能够在超大模型上下文窗口中进行推理。

TPU 8tx旨在解决AI处理过程中保护敏感信息的难题。加密可以保护存储中的数据和传输中的数据，但处理信息通常需要先将其解密并载入内存。谷歌称，硬件级机密计算可在系统运行期间隔离客户信息和专有模型参数。TPU 8tx将TPU 8t芯片与第五代AMD EPYC处理器及谷歌低延迟Boardfly网络相结合。谷歌声称，与TPU 8t相比，TPU 8tx可将延迟最多降低一半，而额外保护几乎不会造成性能损失。因此，对隐私敏感的任务仍能保持速度和准确性。企业可以用同一套系统微调和运行模型，避免在集群之间传输敏感信息。不过，机密计算无法阻止设计不佳的AI智能体不当处理其获准访问的信息。

TPU 8i Max瞄准自主智能体面临的内存限制；这类智能体会分析大型数据集、代码库、文档或数小时的视频。与传统AI工作负载相比，这些智能体需要快速访问多得多的信息。谷歌将两枚TPU 8i芯片组合在一起，与TPU 8i相比，计算能力、片上静态随机存取存储器（SRAM）和高带宽内存吞吐量均翻倍。在机架占用空间不变的情况下，这一配置可容纳两倍的硅芯片。瓦赫达特称，TPU 8i Max旨在解决内存限制问题。

谷歌将以开源软件形式发布TPU Sync，用于在芯片、服务器和存储设备之间传输AI工作内存。谷歌声称，该系统可将某些数据传输延迟和响应启动时间缩短90%以上。谷歌的竞争力不仅来自芯片速度，也来自专用软件和硬件。谷歌的开源TorchTPU项目允许开发者在TPU上运行PyTorch和Hugging Face模型，无需重写应用程序。

随着谷歌扩充TPU产品线，英伟达面临华尔街越来越大的压力。英伟达股价周四下跌9.3%。周一交易期间，英伟达首席执行官黄仁勋承认与一名女性有婚外情；美国情报部门怀疑该女性为中国从事间谍活动后，英伟达股价又下跌5%。英伟达董事会已启动独立调查。不过，英伟达称，公司没有证据表明企业机密遭到泄露。这一丑闻加剧了市场对英伟达增长的担忧，而竞争对手正挑战其在AI芯片领域的主导地位。

据报道，OpenAI计划采购谷歌TPU，以降低对英伟达的依赖。该计划尚未得到证实。谷歌扩大芯片供应可能增强AI开发者的议价能力，进而威胁英伟达的市场份额和未来增长预期。不过，谷歌的性能数据是将新系统与谷歌此前的硬件进行比较，而非与英伟达最新产品比较。谷歌没有公布TPU 8tx和TPU 8i Max的价格或上市日期。