Malgré leurs progrès en logique, les nouveaux modèles d’IA générative multiplient les erreurs avec le temps. Selon une enquête du New York Times, les hallucinations sont un problème majeur, croissant, que même les créateurs peinent à contrôler.
Les nouveaux modèles d’IA se trompent plus souvent qu’avant
Les derniers modèles d’IA, censés mieux "raisonner", produisent en réalité plus d’erreurs qu’auparavant. OpenAI a constaté que son modèle o3, le plus avancé, se trompe dans 33 % des cas sur des tests pourtant basiques. Son successeur, o4-mini, atteint même 79 % d’hallucinations sur certaines évaluations. Ces problèmes inquiètent alors même que les IA sont de plus en plus utilisées au quotidien, du support client à la recherche web.
Les hallucinations, un vieux problème qui s’aggrave
Une hallucination désigne une réponse inventée par un modèle d’IA, présentée comme factuelle. Le phénomène n’est pas nouveau, mais il est de plus en plus fréquent avec les IA modernes. Cursor, un outil pour développeurs, a par exemple vu son bot client annoncer une restriction inexistante, ce qui a poussé certains utilisateurs à annuler leur abonnement. Google et Bing affichent aussi des réponses erronées dans leurs moteurs de recherche augmentés par IA. Vous l’avez peut-être constaté vous-même. Ces erreurs peuvent prêter à sourire dans certains contextes, mais elles deviennent vraiment problématiques dans des domaines critiques comme la médecine, le droit ou la finance.
Des systèmes de plus en plus opaques
Le cœur du problème reste l’opacité de ces modèles. Les IA génératives, basées sur des probabilités statistiques, ne comprennent pas ce qu’elles produisent. Elles "devinent" les réponses les plus probables sans en vérifier la véracité. Le renforcement par apprentissage, utilisé pour affiner ces modèles, améliore certaines compétences (comme le calcul), mais en dégrade d'autres. Résultat : les IA oublient certaines données et leurs réponses deviennent incohérentes. Même les chercheurs admettent leur impuissance à expliquer certains comportements. Comme le rapporte le New York Times, les étapes de raisonnement affichées par les IA ne correspondent pas toujours à la logique réelle suivie par le modèle.
Des tentatives de contrôle
Des entreprises comme Vectara mesurent depuis fin 2023 les taux d’hallucination dans des tâches simples, comme le résumé d’articles. Les modèles récents s’améliorent parfois, mais les progrès restent limités. Le modèle R1 de DeepSeek hallucine encore dans 14 % des cas. Des chercheurs tentent de tracer les erreurs jusqu’aux données d’entraînement, mais face au volume d’informations absorbé par les IA, ces méthodes sont insuffisantes. OpenAI a déclaré poursuivre ses recherches, mais reconnaît qu’il faudra encore du temps pour fiabiliser ces outils.
Vers une remise en question du modèle actuel ?
Pendant des années, les géants de l’IA ont misé sur un principe simple : plus de données égale meilleure IA. Ce modèle atteint visiblement ses limites. Les ensembles de données en anglais sont épuisés, et les nouvelles approches, plus complexes, engendrent de nouveaux problèmes. Tant que les IA n’auront pas de mécanisme intégré pour distinguer le vrai du faux, les hallucinations resteront un obstacle majeur à leur fiabilité.
D’ailleurs, il nous arrive parfois, en tant que rédacteurs, d’utiliser l’IA pour analyser des textes ou des sources parfois complexes, et je ne vous cache pas que le travail de relecture et de vérification qu’il y a derrière est parfois plus long et plus fastidieux que si l’on n’avait utilisé aucune IA.
