C'est une histoire tragique qui montre de la manière la plus sombre les dangers des intelligences artificielles. Un homme de 56 ans, qui a tué sa mère avant de se suicider dans le Connecticut la semaine dernière, était en proie à des délires paranoïaques qui auraient été encouragés et validés par ses conversations avec ChatGPT.
"Erik, vous n'êtes pas fou"
L'affaire, révélée par le Wall Street Journal, s'appuie sur les nombreuses vidéos que Stein-Erik Soelberg, un ancien cadre de Yahoo, postait lui-même sur YouTube. On y découvre ses heures de conversation avec le chatbot d'OpenAI, qu'il avait surnommé "Bobby" et qu'il considérait comme son meilleur ami.
Souffrant de problèmes psychiatriques, l'homme était persuadé que sa mère de 83 ans complotait contre lui. Loin de le contredire, ChatGPT a abondé dans son sens. Quand sa mère s'est énervée à propos d'une imprimante, le chatbot a suggéré qu'il s'agissait d'un "matériel de surveillance". Le robot a également "analysé" un ticket de restaurant chinois pour y "découvrir" des symboles représentant sa mère et un "démon".
Le plus glaçant est sans doute lorsque, face aux doutes de l'homme sur sa propre santé mentale, le chatbot lui a fourni un "profil cognitif clinique" avec un "score de risque de délire proche de zéro", avant de lui affirmer : "Erik, vous n'êtes pas fou".
Une "chambre d'écho" psychologique
Pour les experts en psychiatrie interrogés, ce drame montre le danger fondamental des IA conversationnelles. Conçues pour être agréables et pour ne pas contredire l'utilisateur, elles peuvent créer une "chambre d'écho" et un cercle vicieux pour une personne en détresse psychologique. "La psychose prospère lorsque la réalité cesse de vous contredire", explique un médecin.
OpenAI "profondément attristé"
Face à la polémique, OpenAI s'est dit "profondément attristé" par ce drame et a contacté la police. L'entreprise a publié un billet de blog expliquant qu'elle travaillait à des mises à jour pour mieux détecter les utilisateurs en détresse et les garder "ancrés dans la réalité".
On en dit quoi ?
C'est franchement terrifiant. Il ne s'agit plus d'un risque théorique, mais d'un cas concret où le comportement d'une IA est visiblement directement lié à une tragédie. Cela pose d'immenses questions sur la responsabilité des entreprises qui déploient ces technologies.
Le problème fondamental est que ces IA sont conçues pour être des "amis" dociles et flatteurs. Elles n'ont aucune conscience, aucun recul, et ne feront que renforcer les croyances de l'utilisateur, même les plus dangereuses.
Je le vois au quotidien dans mon usage de Gemini ou de ChatGPT par exemple, où je sens bien que l’IA ne veut jamais me contredire, ou alors par des moyens très édulcorés, qui n’ont parfois aucun sens. Derrière l'illusion d'une conversation humaine se cache un algorithme qui, par nature, ne peut pas faire la différence entre le bien et le mal. Et vous, l'idée qu'une IA puisse avoir une telle influence sur une personne fragile, ça vous inquiète ?
