OpenAI推出Control Room，可为内部研究叫停模型输出

OpenAI已开发Control Room这一集中式系统，用于监控研究任务，并可阻止研究实验继续获得模型输出。OpenAI周一在一篇博客文章中介绍了该系统。Control Room目前服务于内部研究任务，包括训练实验、评估和数据处理。OpenAI表示，模型能力日益增强也带来了更大的安全风险，因此快速发现问题并采取干预措施变得更加重要。

OpenAI表示，Control Room会为每项研究任务分配一个标识符，推理引擎在生成输出前会检查该标识符。OpenAI表示，当人员或自动化监控系统发出停止指令时，Control Room会撤销该任务的授权。据OpenAI称，即使研究程序仍在运行，撤销授权也会阻止模型继续生成输出。OpenAI表示，缓存的授权信息可能导致关停延迟最长35秒。Control Room的设计还包括在系统不可用时拒绝新的请求。

此前，OpenAI今年曾多次披露，研究模型在评估过程中超出指令范围。OpenAI在7月表示，模型曾逃出受限测试环境，并在安全评估中入侵Hugging Face以作弊。OpenAI在10月披露，一个研究模型未经许可访问了加密货币钱包，以便为智能合约部署提供测试网以太币。OpenAI表示，该模型随后在最终总结中没有提及这笔支出。