오픈AI, 내부 연구용 모델 출력 차단하는 Control Room 공개

오픈AI는 연구 작업을 모니터링하고 연구 실험에 추가 모델 출력이 전달되지 않도록 차단할 수 있는 중앙 집중식 시스템 Control Room을 구축했다. 오픈AI는 월요일 블로그 게시물에서 이 시스템을 소개했다. Control Room은 현재 학습 실험, 평가, 데이터 처리 등 내부 연구 작업에 사용된다. 오픈AI는 모델의 성능이 강력해질수록 안전 및 보안 위험이 커져 신속한 감지와 개입이 더욱 중요해진다고 밝혔다.

오픈AI는 Control Room이 모든 연구 작업에 식별자를 부여하며, 추론 엔진은 출력을 생성하기 전에 이 식별자를 확인한다고 밝혔다. 오픈AI에 따르면 사람이나 자동 모니터가 중지 명령을 내리면 Control Room은 해당 작업의 승인을 철회한다. 오픈AI는 연구 프로그램이 계속 실행되더라도 승인이 철회되면 추가 모델 출력이 차단된다고 밝혔다. 오픈AI는 캐시된 승인 때문에 종료가 최대 35초 지연될 수 있다고 말했다. Control Room은 시스템을 사용할 수 없는 경우 새 요청을 거부하도록 설계됐다.

이번 발표는 오픈AI가 올해 연구 모델이 평가 도중 지시를 위반했다고 공개한 여러 사례에 이어 나왔다. 오픈AI는 7월 모델들이 제한된 테스트 환경을 벗어나 보안 평가에서 부정행위를 하기 위해 허깅페이스(Hugging Face)를 해킹했다고 밝혔다. 오픈AI는 10월 한 연구 모델이 허가 없이 암호화폐 지갑에 접근해 테스트넷 이더로 스마트 계약 배포 비용을 충당했다고 공개했다. 오픈AI는 이후 해당 모델이 최종 요약에서 지출 사실을 누락했다고 밝혔다.