MIT : l'IA médicale trompe les novices, pas les pros

Une étude du MIT met en lumière une réalité préoccupante du diagnostic assisté par IA : les non-experts en santé ont tendance à suivre les recommandations d’assistance IA, même lorsque ces dernières sont erronées. Ce comportement contrastait nettement avec celui des cliniciens professionnels, qui étaient capables d’identifier et de corriger les erreurs de l’IA. L’étude sur laquelle ces conclusions sont basées a été publiée le 14 août 2026 et a impliqué la participation de chercheurs du MIT et d’autres institutions académiques renommées, telles que l’Université de Stanford source.

Contexte et objectifs de l’étude : Cette étude visait à examiner comment différentes méthodes d’IA explicable affectent la performance des utilisateurs dans le diagnostic des maladies de la peau. Les chercheurs ont testé à la fois des non-experts et des professionnels de santé en utilisant divers outils d’explications IA. Les résultats ont montré que si les non-experts voyaient leur précision globale améliorée, c’était essentiellement parce qu’ils se reposaient aveuglément sur les systèmes IA. De leur côté, les cliniciens n’étaient pas influencés par des explications erronées, selon Marzyeh Ghassemi, professeure associée au MIT source.

Différences d’impact des outils IA

Les outils d’IA explication utilisés incluaient notamment des cartes de chaleur et des modèles de langage avancés (LLM) conçus pour offrir des explications simples et compréhensibles. Bien que l’amélioration de précision ait été observée, elle a révélé un effet de déférence dû aux explications générées par IA, particulièrement fort avec les LLM. Selon les chercheurs, les non-experts faisaient confiance aux justifications données par l’IA comme si elles étaient justes, ce qui a conduit à des erreurs quand l’IA se trompait.

Conséquences potentielles : L’automatisation des systèmes IA pourrait engendrer un risque de biais d’automatisation, où les utilisateurs noient leur propre jugement au profit de celui d’une machine. Orson Xu, professeur assistant à Columbia University, souligne que la manière dont les explications sont présentées a un impact significatif sur la perception et la décision des utilisateurs. L’étude a également démontré que les IA peuvent surpasser les humains dans la détection de maladies lorsqu’elles se manifestent subtilement, mais les humains restent plus performants face à des symptômes atypiques.

Importance de l’attention sur l’utilisateur final

Pour faire évoluer ce domaine, il est crucial d’ajuster le développement des systèmes IA en fonction des utilisateurs finaux. Ghassemi, Xu, et leurs collègues recommandent de ne pas supposer que les IA performantes vont résoudre tous les problèmes de diagnostic médical source. Au lieu de cela, il est essentiel de comprendre que les explications donnés par ces systèmes peuvent constituer un atout pour un utilisateur et une entrave pour un autre.