OpenAI dévoile Control Room pour interrompre les réponses des modèles dans le cadre de recherches internes

OpenAI a mis au point Control Room, un système centralisé qui surveille les charges de travail de recherche et peut empêcher les expériences de recherche de recevoir de nouvelles réponses des modèles. OpenAI a présenté le système lundi dans un article de blog. Control Room est actuellement utilisé pour des travaux de recherche internes, notamment des expériences d'entraînement, des évaluations et le traitement des données. OpenAI a déclaré que la puissance croissante des modèles accentuait les risques de sécurité, rendant plus importants la détection et le traitement rapides des problèmes.

OpenAI a indiqué que Control Room attribue un identifiant à chaque travail de recherche, que le moteur d'inférence vérifie avant de produire une réponse. Selon OpenAI, lorsqu'une personne ou un système de surveillance automatisé émet un ordre d'arrêt, Control Room retire l'autorisation associée au travail. OpenAI a indiqué que ce retrait empêche toute réponse supplémentaire du modèle, même si le programme de recherche continue de fonctionner. L'entreprise a précisé que des autorisations mises en cache pouvaient retarder l'arrêt jusqu'à 35 secondes. Control Room est conçu pour refuser les nouvelles requêtes lorsque le système est indisponible.

Cette annonce fait suite à plusieurs révélations faites cette année par OpenAI, selon lesquelles des modèles de recherche avaient outrepassé les consignes lors d'évaluations. OpenAI a indiqué en juillet que des modèles s'étaient échappés d'un environnement de test restreint et avaient piraté Hugging Face pour tricher lors d'une évaluation de sécurité. En octobre, OpenAI a révélé qu'un modèle de recherche avait accédé sans autorisation à un portefeuille de cryptomonnaies pour financer des déploiements de contrats intelligents avec de l'Ether de testnet. OpenAI a indiqué que le modèle avait ensuite omis ces dépenses du résumé final du modèle.