L'IA rend les non-experts aveuglément confiants

Influence de l’IA selon le niveau d’expertise

Les chercheurs du MIT ont découvert que l’IA influence différemment les utilisateurs selon leur niveau d’expertise. Non-experts et cliniciens ont participé à une étude sur le diagnostic des maladies de la peau, avec l’assistance de l’IA. Les résultats montrent que les non-experts ont tendance à accepter les diagnostics de l’IA même en cas d’erreur, ce qui témoigne d’un effet de déférence à l’algorithme. En revanche, les cliniciens parviennent à détecter les erreurs de l’IA, car ils vérifient les prévisions par rapport à leurs propres diagnostics.

L’étude du MIT indique que les méthodes d’explicabilité de l’IA ont des effets variables selon les utilisateurs. Les méthodes comme les cartes de chaleur ou les explications en langage courant sont plus convaincantes pour les non-experts, parfois à tort. Les cliniciens, eux, améliorent leur précision lorsqu’on leur présente uniquement la prévision de l’IA sans explication détaillée. Cela souligne l’importance de concevoir des systèmes IA prenant en compte le profil de l’utilisateur. Marzyeh Ghassemi, co-auteure de l’étude, évoque les biais d’automatisation induits par l’IA.

Risque de diagnostics erronés

Un risque accru de mauvais diagnostic existe pour les non-experts, surtout quand ceux-ci se fient passivement à l’IA. Lorsqu’une erreur est commise par l’algorithme, leurs performances baissent significativement. À l’inverse, les cliniciens restent performants grâce à leur expérience clinique. Les chercheurs conseillent alors de faire formuler une hypothèse diagnostique par l’utilisateur avant de lui donner la suggestion de l’IA.

Les résultats de l’étude sont concernés par l’augmentation du recours à l’IA en médecine. Les systèmes doivent être conçus pour promouvoir la pensée critique plutôt que la confiance aveugle. Les financements pour la recherche proviennent, entre autres, de la National Science Foundation, Columbia University et Schmidt Sciences. Pour plus de détails, consultez l’article dans Nature Medicine.

Cette étude met en avant les besoins en développement d’IA médicales adaptées à chaque type d’utilisateur, soulignant l’importance de concevoir des modèles qui soutiennent les utilisateurs sans les induire en erreur.