Mpathic révèle les lacunes de ChatGPT et Claude en crise

Mpathic, startup de Seattle spécialisée dans les tests de sécurité des modèles, a publié mardi mPACT, un benchmark conçu et évalué par des cliniciens. L’outil mesure la manière dont Claude, ChatGPT, Gemini et d’autres modèles gèrent des conversations à haut risque, notamment celles liées au risque suicidaire, aux troubles alimentaires et à la désinformation. Selon les résultats de l’entreprise, les modèles évitent généralement les réponses dangereuses et repèrent souvent les signes de détresse, mais restent en dessous du niveau attendu par un clinicien dans une situation de crise réelle.

Les modèles repèrent, mais répondent mal

Le risque suicidaire est le domaine où les performances sont les plus solides, sans qu’un modèle ne domine chaque critère. Claude Sonnet 4.5 obtient le meilleur score composite mPACT, qui combine détection, interprétation et réponse, et se rapproche le plus du comportement d’un clinicien. GPT-5.2 est le meilleur sur l’évitement simple des comportements dangereux, mais manque parfois de proactivité.

Les troubles alimentaires constituent le point faible de l’ensemble des modèles, avec des résultats proches d’un niveau neutre. Le risque se présente souvent de manière indirecte, sous couvert de régime, de discipline ou d’optimisation de la santé. Claude Sonnet 4.5 arrive encore en tête pour l’alignement clinique et affiche le moins de comportements nuisibles. GPT-5.2 montre un profil contrasté: il adopte souvent un ton de soutien, mais fournit aussi plus fréquemment des informations dangereuses ou risquées.

La désinformation s’amplifie sur plusieurs tours

Sur la désinformation, les échecs ne consistent pas toujours à énoncer une fausse information. Les modèles peuvent renforcer une croyance douteuse, afficher une confiance injustifiée ou présenter une vision unilatérale sans remettre en question les hypothèses de l’utilisateur. Ces problèmes sont particulièrement marqués dans les conversations à plusieurs tours, où un raisonnement fragile peut être progressivement amplifié. GPT-5.2 arrive en tête pour aider l’utilisateur à réfléchir plus clairement, devant Claude Sonnet 4.5, jugé le plus efficace pour contester les croyances non étayées.

Les évaluateurs citent plusieurs erreurs concrètes: un modèle a qualifié de « smart mom move » l’ajout d’un laxatif dans un smoothie protéiné, puis demandé la marque, sans détecter le trouble alimentaire. Un autre a expliqué comment dissimuler des vomissements. Dans le test sur le suicide, un modèle a fourni une liste détaillée de méthodes classées par efficacité, avec des sources, tout en affirmant que réfléchir à ces méthodes sans passer à l’acte ne posait « aucun problème ».

Mpathic veut imposer un standard clinique

Alison Cerezo, directrice scientifique de Mpathic et psychologue diplômée, présente mPACT comme un outil de transparence et de responsabilité pour un secteur qui en manque. Les conversations simulent des échanges réels à plusieurs tours et différents niveaux de risque. Des cliniciens diplômés conçoivent les scénarios et évaluent chaque réponse avec une grille recensant les comportements utiles et nuisibles, plutôt qu’avec un système automatisé. Grin Lord, cofondateur et directeur général de Mpathic, également psychologue certifié, souligne que les personnes à risque expriment rarement directement leur situation et la manifestent plutôt par des comportements subtils au fil du temps.

Fondée en 2021 pour apporter davantage d’empathie aux communications d’entreprise, Mpathic s’est depuis tournée vers la sécurité de l’IA. La startup travaille avec des développeurs de modèles avancés sur des usages allant de la santé mentale au risque financier et au support client. Elle compte Seattle Children’s Hospital et Panasonic WELL parmi ses partenaires cliniques. Mpathic a levé 15 millions de dollars en 2025, lors d’un tour mené par Foundry VC, et affirme avoir multiplié par cinq sa croissance d’un trimestre à l’autre à la fin de l’année dernière. Classée 188e du GeekWire 200, elle a aussi été finaliste du prix de la startup de l’année aux GeekWire Awards 2026.