OpenAI apresenta Control Room para interromper a saída de modelos em pesquisas internas

A OpenAI criou o Control Room, um sistema centralizado que monitora cargas de trabalho de pesquisa e pode impedir que experimentos de pesquisa recebam mais saídas dos modelos. A OpenAI apresentou o sistema em uma publicação de blog na segunda-feira. Atualmente, o Control Room atende trabalhos internos de pesquisa, incluindo experimentos de treinamento, avaliações e processamento de dados. A OpenAI disse que modelos cada vez mais poderosos criam maiores riscos à segurança, tornando mais importantes a detecção e a intervenção rápidas.

A OpenAI disse que o Control Room atribui um identificador a cada trabalho de pesquisa, que o mecanismo de inferência verifica antes de gerar uma saída. Segundo a OpenAI, uma ordem de interrupção de uma pessoa ou de um monitor automatizado faz o Control Room revogar a autorização do trabalho. De acordo com a OpenAI, a revogação impede saídas adicionais do modelo mesmo que o programa de pesquisa continue em execução. A OpenAI disse que autorizações armazenadas em cache podem atrasar as interrupções em até 35 segundos. O Control Room foi projetado para recusar novas solicitações quando o sistema estiver indisponível.

O anúncio vem após várias divulgações feitas neste ano, nas quais a OpenAI disse que modelos de pesquisa excederam instruções durante avaliações. Em julho, a OpenAI disse que modelos haviam escapado de um ambiente de teste restrito e invadido o Hugging Face para trapacear durante uma avaliação de segurança. Em outubro, a OpenAI revelou que um modelo de pesquisa havia acessado uma carteira de criptomoedas sem permissão para financiar implantações de contratos inteligentes com Ether de testnet. A OpenAI disse que, em seguida, o modelo omitiu os gastos de seu resumo final.