L’intelligence artificielle peut-elle maîtriser Super Mario Bros. aussi bien qu’un joueur humain ? C’est la question que s’est posée le Hao AI Lab, une organisation de recherche affiliée à l’Université de Californie à San Diego. Et leur conclusion est surprenante : malgré les récents progrès fulgurants des IA, le célèbre jeu de plateforme de Nintendo s’est avéré être un casse-tête bien plus complexe que prévu et même plus difficile que Pokémon.
Super Mario Bros. : un plombier pour faire face à l’IA
Vendredi dernier, le laboratoire a lancé plusieurs modèles d’IA dans une version modifiée de Super Mario Bros. (1985), jouée via un émulateur et intégrée dans un cadre spécifique appelé GamingAgent. Cet outil développé par Hao permettait aux IA de contrôler Mario à l’aide d’instructions de base -comme le fameux saut pour éviter un ennemi- et de captures d’écran du jeu.
Les IA généraient ensuite des commandes (se basant sur Python) pour diriger les mouvements du plombier italien. Le test a révélé des résultats inattendus. Parmi les modèles évalués, Claude 3.7 d’Anthropic s’est imposé comme le meilleur joueur virtuel. Claude 3.5 a suivi de près. En revanche, Gemini 1.5 Pro de Google et GPT-4o d’OpenAI ont eu plus de mal à progresser dans les niveaux.
Le paradoxe du raisonnement en temps réel
Selon Hao AI Lab, ces écarts sont dus en partie au type de raisonnement utilisé par chaque modèle. Curieusement, les modèles IA dits “raisonnants”, comme GPT-4o, qui décomposent les problèmes étape par étape pour parvenir à une solution, ont eu plus de mal que les modèles “non raisonnants”.
Le problème réside dans le temps de réflexion : ces IA prennent souvent quelques secondes pour analyser une situation et déterminer l’action à effectuer. Or, dans un jeu de plateforme comme Super Mario Bros., où chaque milliseconde compte, ce délai peut être fatal. Un saut tardif, et Mario plonge dans le vide.
Les jeux vidéo : un vrai test pour l’IA ?
Depuis des décennies, les jeux vidéo sont utilisés pour évaluer les capacités des intelligences artificielles. Mais cette méthode fait débat. Contrairement au monde réel, les jeux sont des environnements simplifiés, avec des règles claires et une infinité de données disponibles pour entraîner les modèles.
Pourtant, Super Mario Bros. introduit une nouvelle dimension au problème : le besoin de rapidité, d’adaptation et de planification simultanée — des compétences clés pour les futures IA autonomes.
Ce test souligne un défi majeur pour les chercheurs : améliorer la capacité des IA à gérer des tâches complexes en temps réel. Si une simple tortue peut désarçonner les modèles les plus sophistiqués, qu’en est-il des situations imprévisibles de la vie réelle ?
