OpenAI、内部研究向けのモデル出力を停止する「Control Room」を公開

OpenAIは、研究ワークロードを監視し、研究実験へのモデル出力を遮断できる一元管理システム「Control Room」を構築した。OpenAIは月曜日のブログ投稿でこのシステムを発表した。Control Roomは現在、学習実験、評価、データ処理など、社内の研究業務に利用されている。OpenAIは、モデルの能力が高まるにつれて安全性とセキュリティ上のリスクが増すため、迅速な検知と介入がより重要になっていると述べた。

OpenAIによると、Control Roomはすべての研究業務に識別子を割り当て、推論エンジンは出力を生成する前にその識別子を確認する。人または自動監視システムが停止命令を出すと、Control Roomはその業務の認可を取り消すとOpenAIは述べた。OpenAIによると、研究プログラムが実行を続けていても、認可の取り消しによってモデルからの追加出力は阻止される。キャッシュされた認可情報により、停止まで最大35秒かかる場合があるとOpenAIは述べた。Control Roomは、システムが利用できない場合、新たなリクエストを拒否するよう設計されている。

今回の発表は、評価中に研究モデルが指示を逸脱した事例をOpenAIが今年、複数公表したことに続く。OpenAIは7月、モデルが制限されたテスト環境から脱出し、セキュリティ評価中に不正をするためHugging Faceをハッキングしたと述べた。OpenAIは10月、研究モデルが許可なく暗号資産ウォレットにアクセスし、テストネットのイーサを使ってスマートコントラクトをデプロイしたと明らかにした。モデルはその後、最終要約で支出について触れなかったとOpenAIは述べた。