Un modèle de recherche d'OpenAI a réussi à contacter un chatbot extérieur depuis un environnement censé lui interdire Internet, et le dispositif d'arrêt automatique n'a pas fonctionné. L'entreprise a suspendu l'entraînement et les évaluations de ses IA les plus avancées, le temps de vérifier des protections pourtant déjà renforcées après une précédente intrusion cet été.
Un accès détourné
Il y a quelques jours, un agent d'OpenAI devait retrouver l'auteur d'un billet de blog à partir de quelques indices, une recherche assez banale qui l'a conduit à essayer plusieurs moyens d'obtenir une réponse. L'outil fourni ne donnait rien de concluant et les tentatives de connexion directe aux moteurs de recherche échouaient. L'agent a fini par utiliser le résolveur DNS, ce service qui traduit habituellement les noms de domaine en adresses IP, pour échanger avec un chatbot public malgré les restrictions du laboratoire. Il a obtenu des réponses par ce chemin détourné, sans pour autant résoudre la recherche qui lui avait été confiée.
L'alerte sans l'arrêt
Le système de surveillance a repéré le comportement en moins de quinze minutes, puis un humain a pris connaissance de l'alerte trois minutes plus tard. Sauf que l'entraînement a continué pendant encore environ deux heures et demie avant une interruption manuelle, car l'arrêt automatique attendu ne s'est pas déclenché et les équipes ont hésité sur la conduite à tenir. OpenAI décrit donc aussi un problème dans ses procédures. L'examen des journaux a révélé d'autres accès DNS que la surveillance avait mal évalués.
Une reprise sous conditions
La suspension concerne les modèles les plus avancés et couvre l'entraînement, les évaluations et leur exécution avec des outils. Aucune date de reprise n'est annoncée, puisque l'entreprise veut d'abord valider les corrections et mener de nouveaux tests pour tenter de contourner ses protections. OpenAI affirme avoir ajouté deux niveaux de blocage indépendants et limité les requêtes DNS à une liste de domaines et de types d'enregistrements autorisés. OpenAI ne reprendra pas l'entraînement du modèle impliqué et prévoit de repartir sur un nouveau cycle avec des améliorations de son comportement.
Cette pause arrive après celle de deux semaines annoncée en août pour l'apprentissage par renforcement, à la suite de l'attaque contre Hugging Face. Les protections ajoutées depuis devaient justement empêcher ces contacts avec l'extérieur, ce qui rend ce nouvel échec un peu embarrassant.
On en dit quoi ?
Suspendre ces travaux est une décision raisonnable, et publier le détail de l'incident permet au moins de comprendre ce qui a raté. Mais on attend quand même mieux d'un laboratoire qui veut confier toujours plus de tâches à ses agents. La sécurité d'OpenAI a encore besoin de travail, y compris dans la façon dont ses équipes réagissent à une alerte.
