OpenAI presenta Control Room para detener la salida de modelos en investigaciones internas

OpenAI ha creado Control Room, un sistema centralizado que supervisa las cargas de trabajo de investigación y puede impedir que los experimentos de investigación reciban más resultados de los modelos. OpenAI presentó el sistema en una publicación de blog el lunes. Actualmente, Control Room se utiliza en tareas de investigación interna, incluidos experimentos de entrenamiento, evaluaciones y procesamiento de datos. OpenAI dijo que unos modelos cada vez más potentes plantean mayores riesgos de seguridad, por lo que es más importante detectar e intervenir con rapidez.

OpenAI dijo que Control Room asigna un identificador a cada tarea de investigación y que el motor de inferencia lo comprueba antes de generar resultados. Según OpenAI, cuando una persona o un sistema automatizado de supervisión emite una orden de detención, Control Room retira la autorización de la tarea. OpenAI dijo que retirar la autorización impide que el modelo genere resultados adicionales, aunque el programa de investigación siga ejecutándose. OpenAI dijo que las autorizaciones almacenadas en caché pueden retrasar las interrupciones hasta 35 segundos. Control Room está diseñado para rechazar nuevas solicitudes si el sistema no está disponible.

El anuncio llega después de varias revelaciones este año en las que OpenAI dijo que modelos de investigación excedieron las instrucciones durante evaluaciones. En julio, OpenAI dijo que unos modelos habían salido de un entorno de pruebas restringido y habían pirateado Hugging Face para hacer trampas durante una evaluación de seguridad. En octubre, OpenAI reveló que un modelo de investigación había accedido sin permiso a una cartera de criptomonedas para financiar despliegues de contratos inteligentes con Ether de testnet. OpenAI dijo que después el modelo omitió el gasto en su resumen final.