Au MIT, les novices suivent l’IA médicale sans la comprendre

Une étude du MIT montre que l’assistance médicale par IA n’a pas le même effet selon l’expertise de l’utilisateur. Des chercheurs du MIT et d’autres institutions ont évalué des non-experts et des professionnels de soins primaires dans le diagnostic de maladies cutanées. Les deux groupes ont utilisé des images médicales, avec ou sans prédiction algorithmique et explication. L’assistance a généralement amélioré la précision des diagnostics. Les non-experts ont toutefois progressé principalement en suivant le modèle. Ils ont aussi accordé leur confiance à des explications produites par un grand modèle de langage, même lorsqu’elles étaient incorrectes. L’étude a été publiée le 4 août 2026 dans Nature Medicine.

Deux profils d’utilisateurs ont été comparés sur des tâches différentes. Les non-experts devaient déterminer si un grain de beauté était cancéreux. Les cliniciens devaient établir un diagnostic différentiel de maladie dermatologique, une tâche plus complexe. Les chercheurs ont testé plusieurs interfaces d’IA explicable. Certaines affichaient uniquement la prédiction et son niveau de confiance. D’autres présentaient des images similaires, une carte thermique des zones importantes ou une explication en langage courant produite par un LLM. Les outils ont amélioré la précision des non-experts, surtout pour identifier les grains de beauté non cancéreux. Un modèle soumis à une contrainte d’équité a aussi amélioré la précision et réduit les écarts selon le teint de la peau.

Les explications influencent les diagnostics

La confiance augmente avec les LLM chez les non-experts, mais cette confiance peut accompagner une mauvaise réponse. Les chercheurs indiquent que l’effet de déférence est particulièrement marqué avec les explications de grands modèles de langage. Les utilisateurs se montraient plus sûrs de leurs réponses erronées lorsqu’un LLM les aidait. Ils trouvaient également les explications vagues ou génériques plus convaincantes. Selon Marzyeh Ghassemi, professeure associée au MIT, l’amélioration observée vient surtout d’une forte dépendance aux modèles. Une prédiction correcte aide alors la performance. Une prédiction fausse la dégrade davantage. Les chercheurs relient ce mécanisme au biais d’automatisation, qui peut pousser une personne à suivre une recommandation sans la vérifier.

Les cliniciens vérifient davantage les prédictions avec leur propre formation. Ils n’ont pas été déstabilisés par les explications incorrectes de l’IA. Parmi les méthodes testées, ils ont obtenu leurs meilleurs résultats avec la prédiction du modèle seule, sans explication complémentaire. Les LLM ont aussi apporté le plus faible gain de précision à ce groupe. Orson Xu, auteur principal et professeur adjoint à Columbia University, explique qu’un clinicien possède déjà une hypothèse diagnostique. Il confronte donc la recommandation à son raisonnement. Un non-expert peut, au contraire, utiliser l’explication pour construire sa première opinion. Une justification plausible et assurée peut alors l’orienter vers une réponse fausse.

Le moment de l’explication compte

La présentation modifie le comportement des utilisateurs. Les personnes les plus déférentes envers l’IA étaient aussi les moins performantes sans assistance. Les chercheurs ont observé un autre effet lorsque l’explication apparaissait avant le diagnostic personnel. Dans ce cas, les utilisateurs devenaient davantage dépendants du modèle. Les systèmes d’IA dépassaient aussi les humains lorsque les signes de la maladie étaient subtils. Les humains obtenaient de meilleurs résultats lorsque les images comportaient des symptômes atypiques ou des caractéristiques sans rapport. Ces résultats montrent qu’une explication ne constitue pas automatiquement une aide critique. Sa forme et son moment de présentation peuvent modifier la manière dont l’utilisateur évalue la recommandation.

Les chercheurs proposent de demander d’abord à l’utilisateur de formuler une hypothèse diagnostique. Le système pourrait ensuite suggérer d’autres affections possibles à examiner. Cette séquence viserait à limiter le suivi aveugle d’une recommandation. Marzyeh Ghassemi estime aussi que l’IA doit renforcer les compétences ou combler des lacunes face à des présentations subtiles. Roxana Daneshjou, professeure adjointe à Stanford, souligne que les personnes ayant le moins de connaissances médicales sont les plus exposées aux erreurs d’un modèle explicable. L’étude recommande donc de concevoir les systèmes en fonction des utilisateurs. Elle distingue aussi les besoins des cliniciens et ceux des personnes réalisant seules un diagnostic numérique.

Les outils existent déjà dans plusieurs usages médicaux. Des interfaces d’IA approuvées par la FDA aident des cliniciens à identifier des affections cutanées sur des images médicales. Elles fournissent une prédiction sur la présence d’une maladie et peuvent expliquer la décision avec plusieurs méthodes. De leur côté, des moteurs de recherche dotés d’IA permettent à des non-experts d’obtenir une prédiction à partir de leurs descriptions. Les chercheurs concluent qu’un système performant ne suffit pas à garantir une utilisation sûre. La conception doit aussi limiter la dépendance excessive. Leurs travaux, menés notamment avec des chercheurs du MIT, de Stanford et de Columbia, sont décrits dans l’étude publiée par MIT News.