Une enquête du Guardian a révélé que les AI Overviews de Google diffusaient des conseils médicaux erronés, voire même dangereux. Face aux critiques, le géant de la recherche a désactivé ces résumés pour plusieurs requêtes liées à la santé.
Des conseils potentiellement mortels
Le problème n'est franchement pas anodin. L'enquête publiée début janvier a passé au crible des dizaines de résumés générés par l'IA de Google. Le constat est accablant : aux patients atteints de cancer du pancréas, l'IA recommandait d'éviter les aliments gras. Sauf que voilà, selon Anna Jewell de Pancreatic Cancer UK, ce conseil est complètement incorrect et pourrait vraiment compromettre les chances de traitement des malades. Pour les tests hépatiques, l'IA balançait des chiffres bruts sans tenir compte du sexe, de l'âge ou de l'origine ethnique de l'utilisateur. Les données provenaient d'un hôpital indien, sans aucune adaptation au contexte local.
Côté santé mentale, Stephen Buckley de l'association Mind a qualifié certaines réponses sur la psychose et les troubles alimentaires de très dangereuses. On parle ici d'informations qui pourraient pousser des personnes vulnérables à ne pas consulter.
Un problème systémique
Les chiffres sont sans appel. Selon une étude d'Ahrefs portant sur 146 millions de pages de résultats, 44,1% des requêtes médicales déclenchent un AI Overview. C'est plus du double de la moyenne générale. Google affiche donc ses résumés IA là où les erreurs peuvent avoir les conséquences les plus graves.
Face à la polémique, Google a retiré les AI Overviews pour certaines recherches comme "what is the normal range for liver blood tests". Mais les variantes du type "lft reference range" continuent d'afficher des résumés. Un porte-parole a indiqué que l'entreprise travaillait à de larges améliorations, tout en contestant une partie des conclusions de l'enquête. Selon lui, dans de nombreux cas, l'information n'était pas inexacte.
Le phénomène d'hallucination
C'est là que le bât blesse : les IA génératives inventent parfois des réponses quand elles n'ont pas la bonne information. Ce qu'on appelle l'hallucination. Et sur des sujets médicaux, ce travers peut avoir des répercussions dramatiques. Les associations de patients estiment que retirer quelques requêtes problématiques revient à jouer au chat et à la souris sans traiter le fond du problème.
On en dit quoi ?
C'est quand même assez dingue de voir Google balancer des conseils santé potentiellement dangereux à des millions d'utilisateurs. On parle d'un moteur de recherche utilisé par défaut par la quasi-totalité de la planète, et qui affiche des résumés IA sur près de la moitié des requêtes médicales. Le retrait de quelques résultats problématiques ressemble plus à un pansement qu'à une vraie remise en question. Le problème c'est que Google continue de pousser ses AI Overviews partout, y compris bientôt dans Gmail. La question qui se pose maintenant : faut-il réglementer ces résumés générés par IA quand ils touchent à la santé des gens ?
