구글, 개인정보 보호·메모리 겨냥한 새 AI 시스템으로 엔비디아에 도전

구글은 월요일 TPU 8tx와 TPU 8i Max를 공개해 개인정보 보호와 메모리 집약적 작업에 맞춘 AI 컴퓨팅 시스템으로 엔비디아에 도전했다. 두 제품을 추가하면서 AI 모델 학습과 실행을 위한 구글의 8세대 텐서처리장치 제품군은 4개 구성으로 늘었다. 구글은 AI 연구소와 대학을 포함해 고객사 약 100곳이 TPU를 사용한다고 밝혔다.

TPU는 AI 전용으로 설계된 가속기로, 널리 쓰이는 엔비디아의 그래픽처리장치와는 다르다. 구글은 원래 자사 서비스를 위해 TPU를 개발했지만, 사내 설치형 시스템을 쓰는 고객을 포함해 외부 기업에도 점점 더 많이 제공하고 있다. 구글의 최고 기술자이자 AI·인프라 부문 수석부사장인 아민 바흐다트는 컴퓨팅이 에이전트 중심으로 이동하면서 기업들은 방대한 모델 컨텍스트 창을 추론할 수 있는 가속기를 원한다고 썼다.

TPU 8tx는 AI 처리 중 민감한 정보를 보호하는 문제를 겨냥한다. 암호화는 저장된 데이터와 전송 중인 데이터를 보호하지만, 처리 과정에서는 보통 메모리의 정보를 복호화해야 한다. 구글은 하드웨어 수준의 기밀 컴퓨팅이 시스템 작동 중 고객 정보와 독점 모델 매개변수를 격리한다고 밝혔다. TPU 8tx는 TPU 8t 실리콘과 5세대 AMD EPYC 프로세서, 구글의 저지연 Boardfly 네트워크를 결합한다. 구글은 TPU 8tx가 TPU 8t보다 지연 시간을 최대 절반까지 줄일 수 있고, 추가 보호 기능에 따른 성능 저하는 거의 없다고 주장한다. 이에 따라 개인정보 보호가 중요한 작업에서도 속도와 정확도를 유지할 수 있다. 기업은 민감한 정보를 클러스터 간에 옮기지 않고도 하나의 시스템에서 모델 미세 조정과 실행을 모두 할 수 있다. 다만 기밀 컴퓨팅으로는 설계가 잘못된 AI 에이전트가 접근 권한이 있는 정보를 잘못 처리하는 일을 막을 수 없다.

TPU 8i Max는 대규모 데이터 세트, 코드 기반, 문서 또는 수시간 분량의 동영상을 분석하는 자율 에이전트가 겪는 메모리 제약을 겨냥한다. 이런 에이전트는 기존 AI 작업보다 훨씬 많은 정보에 빠르게 접근해야 한다. 구글은 TPU 8i 칩 2개를 하나로 묶어 TPU 8i보다 컴퓨팅 성능과 온칩 SRAM, 고대역폭 메모리 처리량을 두 배로 높였다. 이 구성은 랙 설치 공간을 그대로 유지하면서 실리콘을 두 배로 집적한다. 바흐다트는 TPU 8i Max가 해결하도록 설계된 문제로 메모리 제약을 꼽았다.

구글은 AI 작업 메모리를 칩과 서버, 스토리지 사이에서 옮기는 오픈소스 소프트웨어 TPU Sync를 공개한다. 구글은 이 시스템이 특정 데이터 전송 지연과 응답 시작 시간을 90% 넘게 줄일 수 있다고 주장한다. 구글은 칩 속도만이 아니라 전문화된 소프트웨어와 하드웨어를 함께 앞세워 경쟁한다. 구글의 오픈소스 TorchTPU 프로젝트를 이용하면 개발자가 애플리케이션을 다시 작성하지 않고도 TPU에서 PyTorch와 Hugging Face 모델을 실행할 수 있다.

구글이 TPU 제품군을 확대하면서 월가의 압박은 엔비디아에 커지고 있다. 엔비디아 주가는 목요일 9.3% 하락했다. 젠슨 황 최고경영자가 중국을 위해 스파이 활동을 한 혐의로 미국 정보당국의 의심을 받는 여성과 혼외 관계를 인정한 뒤 월요일 거래에서도 엔비디아 주가는 5% 더 하락했다. 엔비디아 이사회는 독립 조사를 시작했다. 다만 엔비디아는 기업 비밀이 유출됐다는 증거가 없다고 밝혔다. 경쟁사들이 AI 칩 시장에서 엔비디아의 지배력에 도전하는 가운데 이번 스캔들은 엔비디아의 성장에 대한 우려를 더 키운다.

보도에 따르면 OpenAI는 엔비디아 의존도를 낮추기 위해 구글 TPU를 구매할 계획이다. 다만 이 계획은 확인되지 않았다. 구글의 더 폭넓은 칩 제품군은 AI 개발자들의 협상력을 높여 엔비디아의 시장 점유율과 향후 성장 기대를 위협할 수 있다. 그러나 구글의 성능 주장은 새 시스템을 엔비디아 최신 제품이 아닌 이전 구글 하드웨어와 비교한 것이다. 구글은 TPU 8tx와 TPU 8i Max의 가격이나 출시일을 공개하지 않았다.