앤스로픽, 최초의 상주형 AI 평가자로 액센추어 선택

앤스로픽은 9월 12일 CEO 다리오 아모데이가 발표한 3단계 제안에 따라 AI 개발 속도를 늦추는 데 도움을 줄 최초의 상주형 평가자로 액센추어와 액센추어의 AI 사업부인 Faculty를 선택했다고 밝혔다. 이번 협력에는 모델 평가와 레드팀 테스트, 정렬 평가 실시, 모델 안전장치 시험이 포함된다. 앤스로픽은 이미 직원과 유사한 접근 권한을 가진 독립 평가자들을 두기로 일방적으로 약속한 상태였다. 회사는 상주형 평가가 새로운 분야이기 때문에 이 방식이 어떻게 운영될지에 대한 세부 사항은 아직 개발 중이라고 밝혔다. 발표에 따르면 앤스로픽과 액센추어는 향후 5년 동안 이 프로젝트에 각각 최소 $10억을 투자할 것으로 예상하고 있다. 앤스로픽은 독립 평가에 자금을 지원하는 기존 체계가 없으며 장기적인 자금은 공동기금이나 정부 재원에서 나와야 한다고 밝혔다. 앤스로픽은 이 작업의 시급성을 이유로 액센추어의 업무에 직접 자금을 지원할 예정이다. 이번 협력은 비독점적이며, 앤스로픽은 앞으로 몇 주 안에 다른 평가자들도 발표할 것으로 예상하고 있다. 아모데이의 제안은 빠르고 통제되지 않은 AI 개발이 시스템을 이해하고 통제할 수 있는 능력을 앞지를 수 있다고 경고했다. 오픈AI CEO 샘 올트먼과 스페이스X CEO 일론 머스크는 이 제안에 긍정적으로 반응한 반면, 엔비디아 CEO 젠슨 황은 그러한 규제가 필요하지 않다고 주장했다. 액센추어 회장 겸 CEO 줄리 스위트는 상주형 평가가 부상하는 분야이며 회사는 이를 미래 안전 환경의 중요한 부분으로 보고 있다고 말했다. 액센추어는 Faculty가 주요 AI 연구소를 대상으로 모델을 시험하고 평가한 경험과 안전하고 윤리적으로 설계된 복잡한 AI 시스템을 구축한 경험을 갖고 있다고 밝혔다.