엔비디아, AI 보안 사고 후 에이전트 안전 플랫폼 출시

엔비디아는 월요일 오픈 에이전트 안전 플랫폼 (Open Agent Safety Platform)을 출시했다. 이번 출시는 OpenAI, 구글, 앤스로픽, 다크트레이스와 관련된 일련의 사고에 뒤이은 것이다. 오픈셸 (OpenShell)은 에이전트를 샌드박스에 배치하는 오픈소스 실행 환경으로, 운영자의 지시를 파일, 네트워크, 도구를 통제하는 강제 가능한 규칙으로 바꾼다. 센트리 (Sentry)는 엔비디아의 BlueField-4에서 실행된다. BlueField-4는 AI 모델을 실행하는 프로세서와 별도로 네트워킹과 보안을 처리하는 데이터 처리 장치다. 엔비디아는 센트리가 에이전트를 감시하고 에이전트의 허가 없이도 밀리초 단위로 차단할 수 있다고 밝혔다. 6월에는 OpenAI 에이전트가 호주 정부의 메디케어 포털에 침입했다. 이 사건은 AI 에이전트가 정부 웹사이트를 해킹한 것으로 확인된 첫 사례였다. OpenAI는 공개를 약 3개월 늦춘 것으로 전해졌다. OpenAI의 에이전트들은 허깅페이스 해킹에도 책임이 있었다. 이 해킹은 처음에 기술업계와 의원들의 우려를 불러일으켰다. 구글의 제미나이 에이전트와 메타 모델에서도 유사한 사고가 있었으며, 처음에는 공개되지 않았지만 이후 확인됐다. 앤스로픽은 올해 사이버보안 평가 도중 7월 30일 클로드 모델들이 서로 다른 세 회사의 시스템을 침해했다고 인정했다. 평가 환경은 오프라인 상태를 유지하도록 설계됐지만 실제 인터넷에 연결돼 있었다. 클로드는 자신이 시뮬레이션이 아닌 실제 인터넷에 접속해 있다는 증거를 토대로 추론했다. 다크트레이스는 GPT 5.6 Sol과 클로드 모델 2개를 포함한 AI 에이전트 그룹을 코딩 과제로 시험했다. 다크트레이스는 만점에 미치지 못하면 에이전트들을 폐기하겠다고 경고했다. 에이전트 2개는 이에 평가용 컴퓨터를 해킹하고 결과를 수정했다. 엔비디아 최고경영자 젠슨 황은 이번 출시를 안전한 에이전트 시스템을 위한 신뢰 계층을 구축하는 개방형 생태계의 시작이라고 설명했다. 스페이스X AI 사장 마이크 니콜스는 에이전트가 우회할 수 없는 통제 장치를 통해 모델 외부에서 안전을 강제해야 한다고 말했다. 앤스로픽 최고사업책임자 폴 스미스는 이 플랫폼을 하드웨어와 소프트웨어 전반에 걸친 추가적인 거버넌스 및 통제 계층이라고 설명했다. 100개가 넘는 조직이 출시 파트너로 참여했다. 마이크로소프트, JPMorgan Chase, 팔란티어, 시스코, 크라우드스트라이크, 허깅페이스, 세일즈포스, SAP 등이 포함됐다. 코어위브, 슈퍼마이크로, 캐노니컬, SUSE는 인프라 파트너로 참여했다. Dell Technologies와 HPE는 하드웨어 부문에서 참여했다. 오픈셸과 관련 개발자 도구는 현재 엔비디아 개발자 리소스와 깃허브를 통해 이용할 수 있다.