Connections met l’IA en échec sur la rotation mentale

Les puzzles testent les progrès de l’intelligence artificielle depuis ses débuts. En 1959, l’informaticien d’IBM Arthur Samuel décrivait un algorithme apprenant à jouer aux dames. Les échecs et le jeu de go sont ensuite devenus des terrains d’évaluation célèbres. Les performances progressent rapidement sur certains exercices. Fin 2024, une équipe de l’université Columbia observait que les meilleurs modèles résolvaient seulement 18 % des puzzles Connections du New York Times. Début 2025, certains modèles les résolvaient presque parfaitement. Pourtant, ces résultats ne suffisent pas à établir une intelligence générale. Les puzzles révèlent aussi des faiblesses persistantes, notamment face aux changements subtils et aux problèmes visuels.

Les images résistent particulièrement aux modèles de langage. Les exercices de rotation mentale demandent d’identifier un objet présenté sous un angle différent. Les modèles peuvent analyser des entrées visuelles, mais échouent encore fortement sur ces tâches. Ils ne semblent pas manipuler les objets tridimensionnels comme le font les architectes ou les ingénieurs mécaniques. Cette limite concerne aussi le raisonnement abstrait en deux dimensions. Dans ARC-AGI, les modèles réussissent davantage lorsque les grilles sont converties en chaînes de nombres. Même lorsqu’une réponse est correcte, des recherches indiquent qu’ils peuvent utiliser des règles complexes et peu généralisables, plutôt que des concepts visuels simples employés par les humains.

Les modèles mémorisent les pièges

La mémoire déforme parfois l’analyse d’un problème. Les grands modèles de langage ont mémorisé une quantité considérable de faits pendant leur entraînement. Cette capacité les aide pour les questions de culture générale, mais peut les pousser à ignorer une différence essentielle. Une étude publiée en 2024 par des chercheurs de Google et de l’université de l’Illinois à Urbana-Champaign a entraîné et testé des modèles sur des variantes légères des énigmes « Knights and Knaves ». Ces problèmes opposent des personnages qui disent toujours la vérité à d’autres qui mentent toujours. Les chercheurs ont observé que la ressemblance avec des exercices déjà vus pouvait favoriser une réponse automatique. Le dépôt de SimpleBench documente ce type d’évaluation.

SimpleBench piège également les modèles avec des questions formulées pour ressembler à des problèmes plus difficiles. Les humains repèrent souvent le piège, tandis que des modèles de premier plan trébuchent encore. Une autre étude menée par Apple a montré que les modèles réussissaient des versions simples de la tour de Hanoï et des problèmes de traversée de rivière. Ils commençaient toutefois à faiblir lorsque le nombre de disques ou de personnes atteignait six ou davantage. Des chercheurs de l’université de Washington, de Stanford et de l’Allen Institute for AI ont observé une difficulté comparable dans les grilles logiques. Ces résultats peuvent aussi refléter l’accumulation normale des erreurs avec la complexité.

La complexité fait baisser les scores

Les humains gardent certains avantages, mais possèdent aussi leurs propres biais. Des problèmes de psychologie inversent le cas de SimpleBench. Les personnes répondent parfois instinctivement, alors que les modèles produisent une analyse plus délibérée. Certains exercices exploitent des erreurs intuitives en mathématiques. D’autres suggèrent une réponse évidente qui ne résiste pas à une lecture attentive. Le problème des chauves-souris illustre ce type de piège : une population double chaque jour et remplit une grotte au soixantième jour. Les exercices de raisonnement permettent donc de comparer plusieurs formes d’erreur. Ils ne mesurent pas une capacité unique, stable et indépendante du format de présentation utilisé.