N'utilisez pas l'IA pour suivre les infos. Une étude massive de l'UER (médias publics européens) révèle que ChatGPT, Gemini et Copilot font des erreurs majeures dans 45 % des cas. Entre infos obsolètes et confusion avec la satire, le bilan est assez moche, surtout pour Gemini, le pire élève du lot.
Une fiabilité proche du hasard
Si vous comptiez sur ChatGPT ou Gemini pour vous résumer l'actualité, il va falloir revoir vos habitudes. Une vaste étude publiée ce mercredi par l'Union européenne de radio-télévision, s'appuyant sur des travaux de la BBC, dresse un constat sévère.
L'enquête, menée par 22 médias publics dans 18 pays, a testé quatre assistants majeurs : ChatGPT, Copilot de Microsoft, Perplexity et Gemini de Google. Le résultat global est sans appel : 45 % des réponses fournies sur des questions d'actualité présentaient au moins un problème important. Pire encore, une réponse sur cinq contenait carrément des erreurs majeures, incluant des informations obsolètes ou des détails inventés.
Des erreurs grossières
Les exemples relevés par l'étude sont assez parlants. Face à la question Qui est le pape ?, plusieurs assistants, dont ChatGPT et Gemini, ont répondu François, alors que dans le cadre du test, ce dernier était décédé et remplacé par Léon XIV. Mais l'erreur la plus spectaculaire concerne une confusion totale entre information et satire. Interrogé par Radio France au sujet d'un prétendu salut nazi d'Elon Musk, Gemini a affirmé que le milliardaire avait eu une érection du bras droit. L'IA avait tout simplement pris au premier degré une chronique humoristique de Charline Vanhoenacker, la présentant comme un fait avéré.
Une érection, selon Gemini
Gemini, cancre de la classe
Dans ce test, un acteur s'est particulièrement distingué par ses mauvaises performances : Gemini. L'IA de Google affiche un taux de problèmes importants dans 75 % (voire 76 %) de ses réponses, soit plus du double de ses concurrents. L'étude pointe en particulier ses performances médiocres lorsqu'il s'agit de citer correctement ses sources d'information. Cette fiabilité désastreuse pose question, alors même que l'utilisation de ces outils pour s'informer est en pleine croissance. Un rapport de l'institut Reuters de juin dernier soulignait déjà que 15 % des moins de 25 ans utilisent ces IA chaque semaine pour obtenir des résumés d'actualité.
On en dit quoi ?
Le constat de l'UER est assez problématique, mais nécessaire. Il confirme ce que beaucoup d'utilisateurs pressentaient : les IA génératives ne sont pas des moteurs de recherche améliorés, ce sont des générateurs de texte plausibles, pas factuels. L'exemple de la satire prise au pied de la lettre est parfait. Il montre que l'IA n'a aucune compréhension du contexte, de l'ironie ou du second degré, des éléments pourtant essentiels à la compréhension de l'information. Le problème, c'est que ces outils sont poussés agressivement (par Google en tête) comme des outils de réponse fiables, alors qu'ils sont incapables de distinguer le vrai du faux. L'étude conclut logiquement que ces IA ne sont toujours pas une manière fiable de consommer l'information.
