Google est dans la tourmente, ou plutôt son IA générative. En effet, Gemini fait l’objet d’un rapport alarmant sur son utilisation abusive pour produire du contenu à caractère terroriste. Un phénomène qui soulève, une fois de plus, la question cruciale des mesures de protection autour des outils d’IA.
250 signalements pour contenu terroriste généré par Gemini
Selon un rapport transmis par Google aux autorités australiennes, l’entreprise a enregistré 250 plaintes au cours des douze derniers mois concernant l’utilisation de son IA, et ce, pour générer des contenus à des fins terroristes. Ce chiffre, bien qu’encore limité à un pays, montre que les IA génératives peuvent être détournées par des personnes malveillantes pour monter des deepfakes, diffuser de la propagande ou créer des contenus extrémistes.
La Commission australienne de sécurité en ligne a rapidement réagi, soulignant l’urgence pour les entreprises tech de renforcer leurs défenses : Cela souligne à quel point il est essentiel pour les entreprises développant des produits IA d’intégrer et de tester l’efficacité des mesures de protection pour empêcher ce type de contenu d’être généré. En clair, la course à l’IA ne peut se faire sans garde-fous. Et pour l’instant, Gemini semble montrer des failles inquiétantes.
Des contenus pédopornographiques également générés
Pire encore, le même rapport révèle que 86 contenus pédopornographiques, là encore générés via Gemini, ont été détectés et signalés. Google affirme s’appuyer sur un système de métadonnées basé sur une base mondiale de contenus interdits pour repérer ces images, mais précise que rien de tel n’existe encore pour le contenu terroriste.
Cela signifie qu’à l’heure actuelle, la lutte contre les deepfakes terroristes repose principalement sur des signalements manuels et des contrôles réactifs. Or cette méthode est loin d’être suffisante face à des technologies aussi puissantes.
L’Australie pointe du doigt la régulation ou plutôt son absence et s’impose comme un acteur clé dans la régulation des technologies numériques. Outre son suivi strict des IA génératives, le pays a déjà critiqué les réseaux sociaux pour leur manque de filtres empêchant l’accès des jeunes de moins de 13 ans à leurs plateformes. Mais aussi interdit l’IA chinoise Deep Seek, accusée de ne pas respecter la législation locale sur les données personnelles.
Pour l’heure, Google n’a pas encore détaillé les mesures qu’il entend renforcer pour éviter ces dérives, mais la pression monte. Alors que l’IA générative s’intègre de plus en plus dans nos outils quotidiens, la capacité à prévenir la création de contenus illégaux devient un enjeu majeur. L’affaire Gemini rappelle que le développement de l’IA ne peut avancer sans une régulation stricte et des dispositifs robustes pour contrer les abus.
