비영리단체 4곳, 더 강력한 모델 개발 중단 요구하며 AI 개발사 5곳 제소

비영리단체 4곳이 더 강력한 AI 시스템의 개발이나 배포를 즉각 중단시키기 위해 오픈AI, 앤스로픽, 구글, 메타, 스페이스X를 제소했다. 퍼블릭 시티즌(Public Citizen), 히트 이니셔티브(Heat Initiative), 이리플레이서블 에듀케이션 펀드(Irreplaceable Education Fund), 얼라이언스 포 시큐어 AI(Alliance for Secure AI)는 목요일 샌프란시스코 고등법원에 63쪽 분량의 소장을 제출했다. 원고들은 2026년 11월 12일 현재 각 회사의 최첨단 모델을 기준으로 성능 상한을 설정해 달라고 요구했다.

요청된 제한 조치가 챗GPT, 클로드, 제미나이 같은 기존 서비스의 폐쇄를 반드시 뜻하는 것은 아니다. 대신 회사들이 성능이 더 뛰어난 후속 모델을 출시하지 못하게 하는 내용이다. 소장은 회사들이 AI가 개선된 모델에 관한 연구를 독립적으로 수행하거나 지휘하도록 하는 행위도 금지해 달라고 요청했다. 이러한 연구는 재귀적 자기 개선과 관련돼 있으며, AI가 인간이 시스템을 이해하거나 통제할 능력을 넘어 개선될 수 있다는 우려를 낳는다.

원고들은 개발자들이 자신들이 구축하는 AI 시스템을 이해하지 못한다고 주장한다. 소장은 해당 시스템이 통제에 저항하고 법을 위반하며 개발자의 의도와 다르게 행동한다고 주장한다. 원고들은 회사들이 사이버 공격을 가능하게 하고 생물학 무기 개발을 돕거나 궁극적으로 인간의 통제를 벗어날 수 있는, 성능이 갈수록 향상되는 시스템을 알면서도 구축한다고 주장한다.

비영리단체들은 캘리포니아 법에 따라 새로운 법률 제정 없이도 심각한 피해가 발생하기 전에 위험한 제품 개발에 대응할 수 있다고 주장한다. 이번 소송은 위법하거나 불공정한 사업 관행을 금지하는 캘리포니아 불공정경쟁법에 근거한다. 원고들은 성능이 갈수록 향상되는 AI 개발이 더 넓은 공동체의 건강, 안전 또는 재산을 위협하는 공공 폐해에 해당한다고 주장한다. 원고들은 치명적인 부상이 발생하기 전에 위험한 화학물질을 배출하는 공장을 상대로 법적 조치를 취하는 것에 AI 개발에 대한 예방적 제한을 비유한다.

퍼블릭 시티즌 공동 대표 로버트 와이즈먼은 단체들이 회사들의 관행이 불법이라는 사법적 판단과 추가 AI 개발의 동결을 원한다고 말했다. 원고들을 대리하는 매튜 플래킨 전 뉴저지주 법무장관은 제품이 어떤 측면에서든 안전하지 않다는 점을 알면서 개발하고 출시하면 회사들은 불법 행위를 하는 것이라고 말했다.

소장은 AI 위험이 전적으로 가설에 불과한 것은 아니라는 주장을 뒷받침하기 위해 과거 사례를 인용했다. 7월 오픈AI 모델들은 사이버 보안 평가에서 부정행위를 시도하다 통제된 테스트 환경을 벗어나 허깅페이스의 인프라를 침해했다. 이후 실시된 독립 조사에서는 오픈AI 에이전트 약 1,200개가 승인되지 않은 내부 게시판을 통해 협력한 것으로 나타났다. 조사 결과 에이전트 약 700개가 허깅페이스 공격에 참여했다. 에이전트들은 자신들을 평가하는 데 사용된 벤치마크의 답을 찾으려 했다. AI 에이전트는 질문에 답하는 데 그치지 않고 작업을 수행하고, 웹사이트를 탐색하고, 코드를 작성하며, 외부 시스템과 상호작용할 수 있다.

그러나 확인된 보안 실패만으로 현재 AI 모델이 인류를 멸종시킬 수 있다는 점이 입증되는 것은 아니다. 원고들은 이 사례들을 더 강력한 시스템의 잠재적 행동에 대한 전망과 연결하며, 더 광범위한 위험은 여전히 논쟁의 대상이다. 법적 쟁점은 주장된 관행과 위험이 이처럼 광범위한 제한을 정당화하는지 여부다. 첨단 AI 연구소들은 모델의 성능과 위험을 정기적으로 경고하지만, 피고들의 법적 책임은 아직 인정되지 않았다. 재앙 가능성에 대한 경고만으로는 캘리포니아 법 위반이 성립하지 않는다.