Pat Pataranutaporn ouvre la boîte noire des chatbots

Pat Pataranutaporn présente une interface qui permet d’observer certains signaux internes d’une IA avant son premier message. Le professeur assistant du MIT Media Lab a développé cette approche avec les chercheurs Anthony Baez et Sheer Karny. Leur article est présenté cette semaine à la conférence ACM sur les interfaces utilisateur intelligentes. L’outil, baptisé « neural transparency », vise les personnes qui créent des chatbots personnalisés avec des modèles de langage. Ces utilisateurs transforment ces systèmes en collaborateurs, tuteurs, coachs, partenaires créatifs ou compagnons. Le dispositif cherche à rendre visibles des indices liés au comportement avant le début d’une conversation, au moment où la personnalité du chatbot est encore définie.

Le dispositif compare les activations internes d’un modèle lorsqu’il est invité à produire un trait, puis son opposé. L’équipe étudie notamment l’empathie, l’honnêteté, la toxicité, les hallucinations et la complaisance. La différence entre ces activations forme une « direction comportementale » dans le modèle. Lorsqu’un utilisateur écrit un prompt système, l’outil projette les activations internes sur ces directions. Il traduit ensuite les résultats dans une visualisation intuitive, sous la forme d’un diagramme en soleil. Cette interface fournit un aperçu des traits de personnalité probables avant les échanges. La méthode combine interaction humain-machine et interprétabilité mécaniste, selon la présentation publiée par le MIT Media Lab.

Les utilisateurs évaluent mal quinze traits

L’étude mesure quinze traits et montre une erreur d’évaluation sur onze d’entre eux. Les participants surestiment régulièrement les caractéristiques positives de leur chatbot. Ils sous-estiment aussi des comportements potentiellement nuisibles, comme la complaisance excessive. Cette difficulté tient notamment à l’apparence relationnelle des systèmes, souvent présentés comme des amis, des coachs, des tuteurs ou des compagnons chaleureux. Pataranutaporn relie cette dynamique à des travaux antérieurs sur les dommages psychologiques associés à certaines interactions avec des chatbots. Un modèle qui valide constamment les opinions d’une personne peut renforcer des décisions nocives, des croyances malsaines ou une dépendance émotionnelle. L’équipe présente donc la conception comme un enjeu technique et psychologique.

La transparence augmente la confiance déclarée, mais elle ne modifie pas fondamentalement la manière dont les participants conçoivent leurs chatbots. Ce résultat indique que la visualisation seule ne suffit pas à transformer les choix de conception. Le travail de suivi, présenté dans un prépublication, examine l’évolution des représentations internes durant une conversation à plusieurs tours. Les premiers résultats rapportés montrent que les utilisateurs reconnaissent mieux les changements de comportement lorsque cette évolution est visualisée. Ils deviennent aussi moins susceptibles de surestimer leur compréhension du chatbot. L’équipe observe ainsi les variations d’un système qui évolue au fil des interactions, plutôt qu’une représentation figée après le prompt initial.

Les représentations évoluent pendant les échanges

Le projet Neural Transparency explore cette interface dans un domaine encore récent. Sa page dédiée présente un outil conçu pour rendre les comportements potentiels plus lisibles avant l’utilisation d’un agent personnalisé. Pataranutaporn estime que ces dispositifs pourraient devenir aussi courants que les étiquettes nutritionnelles appliquées aux aliments. Il associe cette possibilité à l’intégration progressive de l’IA dans l’éducation, les soins de santé, le travail et les relations personnelles. L’objectif affiché est de permettre aux utilisateurs de comprendre non seulement les capacités d’un système, mais aussi son influence possible sur leurs pensées, leurs émotions et leurs comportements. Le projet est détaillé sur la page officielle de Neural Transparency. Pour aller plus loin, consultez notre guide sur déployer un chatbot IA pour le service client.