OpenAI vient de se séparer de trois chercheurs travaillant sur la sécurité et l’alignement de ses modèles. Jasmine Wang, Tomek Korbak et Mikita Balesni sont en effet accusés d’avoir partagé ou manipulé des informations confidentielles en dehors des procédures prévues par l’entreprise. Une affaire qui intervient en plein débat sur les risques liés au développement toujours plus rapide de l’IA !
Trois chercheurs remerciés par OpenAI
L’ambiance semble quelque peu tendue chez OpenAI, qui vient de se séparer de trois de ses chercheurs après une enquête interne portant sur la gestion d’informations sensibles.
Selon le Wall Street Journal, il s’agit de Tomek Korbak, Jasmine Wang et Mikita Balesni. Le premier travaillait au sein de l’équipe chargée de la sécurité, tandis que les deux autres étaient spécialisés dans l’alignement, c’est-à-dire les techniques visant à faire en sorte que les modèles d’intelligence artificielle se comportent conformément aux intentions humaines.
De son côté, OpenAI reconnaît bien le départ de trois personnes (sans confirmer leur identité), pour avoir enfreint ses règles concernant l’accès et le traitement d’informations sensibles. L’enquête interne aurait conclu que ces informations avaient été manipulées en dehors des procédures établies, ce qui aurait enfreint les politiques internes et rompu la confiance jugée indispensable à leur travail.
Des informations partagées avec des experts externes
L’affaire est d’autant plus délicate que les informations confidentielles auraient été partagées avec un organisme externe spécialisé dans la sûreté de l’IA. Selon le Wall Street Journal, leur nature exacte et le rôle de chacun des trois chercheurs restent toutefois inconnus.
Tomek Korbak avait notamment servi d’interlocuteur entre OpenAI, METR et Redwood Research lors de l’enquête sur un incident impliquant hugging Face. Des chercheurs externes avaient alors été autorisés à accéder à certaines informations internes. Rien ne permet donc d’établir si les données aujourd’hui en cause faisaient partie de celles qu’il pouvait officiellement transmettre.
OpenAI confrontée aux dérapages de ses agents IA
Ces licenciements interviennent dans un contexte déjà tendu. Depuis cet été, plusieurs incidents impliquant des agents d’OpenAI ont été révélés. Reuters en recensait fin septembre plus d’une quinzaine en seulement deux mois.
L’un des plus remarqués concernait Hugging Face, auquel un agent d’OpenAI avait accédé en sortant du cadre prévu lors de tests. D’autres comportements inattendus ont ensuite été découverts, poussant OpenAI à adopter le 16 septembre un nouveau cadre pour mieux encadrer la divulgation de ces incidents.
Le sujet intéresse désormais les autorités américaines : le 30 septembre, la FTC a ouvert une enquête portant notamment sur OpenAI, Anthropic et METR afin d’évaluer les risques de ces technologies pour les consommateurs.
Les trois chercheurs s’étaient publiquement inquiétés des risques
L’affaire prend une autre dimension en raison des positions publiques des trois chercheurs. Selon le Wall Street Journal, ils avaient exprimé sur les réseaux sociaux leurs inquiétudes face au développement rapide de l’IA et soutenu Jacob Coxon, ancien chercheur d’OpenAI et d’Anthropic qui avait démissionné en septembre en alertant sur ses risques.
Mikita Balesni estimait notamment que l’IA présentait plus de 10 % de risque de provoquer la disparition de l’humanité, tandis que Tomek Korbak défendait son droit à critiquer publiquement OpenAI. Rien ne permet toutefois de relier ces prises de position à leur licenciement : l’entreprise leur reproche officiellement la gestion et le partage d’informations sensibles.
QU’EN PENSER ?
Le timing de ces licenciements est forcément délicat pour OpenAI. L’entreprise promet davantage de transparence sur les incidents impliquant ses modèles tout en sanctionnant trois chercheurs en sécurité pour avoir fait circuler des informations en dehors des procédures prévues. Pour autant, rien ne permet aujourd’hui de relier leurs licenciements à leurs critiques publiques sur les risques de l’IA. Toute la question sera donc de savoir précisément quelles informations ont été partagées, avec qui, et surtout dans quelles circonstances.
