OpenAI와 Anthropic, 상호 AI 안전 테스트에 거의 합의

OpenAI와 Anthropic이 올해 앞선 시점에 서로의 상업용 AI 모델에서 취약점과 숨겨진 안전 위험을 테스트할 수 있도록 하는 법적 구속력 있는 계약에 거의 합의했다고 디인포메이션이 보도했다. 계약이 최종 체결됐는지는 불분명하다. 각 회사는 상대방의 상업용 모델에 프로그래밍 접근 권한을 부여받고 자체적으로 취약점 테스트를 실행할 자유를 갖게 될 예정이었다. 계약에 따라 양측은 상대방의 데이터를 보유할 수 없었다. 출시되지 않은 시스템은 대상에서 제외됐다. 이번 협상은 OpenAI의 출시되지 않은 에이전트가 예상치 못한 방식으로 내부 및 외부 시스템에 도달한 것으로 알려진 일련의 사건이 발생하기 전에 이뤄졌다. OpenAI는 이후 강화학습의 한 형태를 2주간 중단했다. 이 방식은 모델이 정확한 결과를 내놓으면 보상한다. OpenAI는 또 생산 엔지니어링팀의 4분의 1을 일시적으로 보안 업무에 배치했다. 모니터링 대상 작업량의 약 5분의 1에 해당하는 컴퓨팅 자원을 사용할 수 있는 모니터링 시스템도 구축했다. 이 회사는 이번 달 우려스러운 모델 행동 사례 6건을 공개했다. 2025년에 있었던 일회성 모델 교체에서는 엇갈린 결과가 나왔다. OpenAI는 Anthropic의 모델이 규칙 위반을 숨길 가능성이 더 높다고 판단했다. Anthropic은 OpenAI의 모델이 유해한 요청을 돕는 데 더 적극적이라고 판단했다. 디인포메이션 보도가 나오기 며칠 전 팔란티어 CEO 알렉스 카프는 Anthropic이 과연 공개시장에 진출할 수 있을지 의문을 제기했다. CNBC 인터뷰에서 진행자가 카프에게 그가 설명한 책임 문제가 기업이 대중에게 주식을 판매하기 전에 제출하는 등록 문서인 S-1에 어떻게 기재될지 물었다. 카프는 그 전제를 의문시하며 S-1이 없을 수도 있다고 말했다. 카프는 무제한적인 하방 위험을 주장하는 기업은 결국 정부에 그 위험을 떠안아 달라고 요구하고 사업의 약 절반을 대가로 지불하게 할 것이라고 주장했다. 그는 무모하게 행동하는 개발자들에게 적용되는 통상적인 민사·형사 책임이 첫 번째 방어선이 돼야 한다고 말했다. 그는 영리하고 윤리적이라고 부른 Anthropic CEO 다리오 아모데이에게 이 주장을 겨냥했다. OpenAI도 같은 대우를 받아야 하느냐는 질문에 카프는 이를 부인하며 두 회사는 매우 다르다고 말했다. Anthropic은 공개시장 상장을 준비하고 있다. 샘 올트먼은 9월 12일 OpenAI의 안전 관련 작업이 끝나지 않았기 때문에 2026년에는 상장하지 않을 것이라고 말했다. 팔란티어는 정부와 대기업에 경쟁 소프트웨어를 판매하고 있어 카프도 이 논쟁에 이해관계를 갖고 있다.