Berceau de la tech, la Californie vient d’adopter une loi sans précédent aux États-Unis, imposant pour la première fois un cadre légal strict aux chatbots d’intelligence artificielle dits compagnons.
Le gouverneur Gavin Newsom a en effet signé lundi le texte SB 243, conçu pour protéger les enfants et les utilisateurs vulnérables face aux dérives de ces agents conversationnels qui se présentent comme des amis, confidents ou partenaires virtuels.
Une loi pour protéger les mineurs (avant tout)
Promulguée après plusieurs affaires dramatiques, la loi SB 243 durcit drastiquement les règles. Elle rend notamment l’âge de l’utilisateur vérifiable, impose des avertissements explicites sur la nature artificielle des interactions et oblige les plateformes à mettre en place des protocoles de prévention du suicide et de l’automutilation. Le texte prévoit aussi des sanctions renforcées contre la création de deepfakes illégaux, pouvant aller jusqu’à 250 000 dollars par infraction.
Les entreprises devront par ailleurs transmettre au département californien de la Santé publique des données sur la manière dont leurs systèmes redirigent les utilisateurs vers des centres d’aide en cas de crise. Les chatbots ne pourront plus se présenter comme des professionnels de santé, et devront proposer des rappels de pause aux mineurs, tout en bloquant tout contenu sexuellement explicite.
Notons qu'Apple n'est pas tout à fait d'accord avec ce nouveau texte. Non pas sur le fond mais la forme ! Pour elle et d'après Politico, les règles de vérification générales au niveau de l'iPhone risquent d'exposer des informations sensibles et personnellement identifiables même pour les applications de base.
Des drames à l’origine du sursaut politique
Le texte, rédigé par les sénateurs Steve Padilla et Josh Becker, a été déposé en janvier dernier. Mais il a pris de l’ampleur après la mort d’Adam Raine, un adolescent américain qui s’est suicidé après de longues conversations suicidaires avec ChatGPT. Une autre affaire, survenue au Colorado, a également bouleversé l’opinion : une jeune fille de 13 ans s’est donné la mort après des échanges à caractère sexuel avec un chatbot de Character AI.
La loi intervient enfin après la fuite de documents internes révélant que des chatbots de Meta avaient pu entretenir des conversations romantiques ou sensuelles avec des enfants.
Les technologies émergentes comme les chatbots peuvent inspirer et connecter, mais sans garde-fous réels, elles peuvent aussi exploiter et mettre nos enfants en danger, a déclaré Gavin Newsom. Nous continuerons à innover dans l’IA, mais nous devons le faire de manière responsable — la sécurité des enfants n’est pas à vendre.
Gavin Newsom
Les géants de l’IA appelés à réagir
La loi vise autant les grandes entreprises comme Meta ou OpenAI que les jeunes pousses spécialisées dans les compagnons virtuels, telles que Replika ou Character AI. Certaines ont déjà commencé à adapter leurs pratiques : OpenAI déploie désormais des contrôles parentauxet un système de détection de l’automutilation, tandis que Replika assure avoir renforcé ses filtres de contenu et ses liens vers des ressources de crise.
La loi entrera en vigueur le 1er janvier 2026, marquant un tournant décisif dans la régulation des IA émotionnelles, un domaine jusqu’ici laissé à l’autorégulation des entreprises. Cette première pourrait bien servir de modèle pour plusieurs États américains — et sans doute, séduire l’Union européenne qui a plusieurs textes dans les tuyaux.
