# Chatbots IA : au-delà des scores, quelle utilité réelle ? > Les chatbots LLM progressent sur MMLU, HumanEval et MATH, mais ces scores ne mesurent pas encore leur capacité à maintenir un objectif dans un dialogue long. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-08-14 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/les-chatbots-llm-cherchent-encore-leur-objectif Tags : chatbots, llm, eliza, parry, dialogue, claude, chatgpt, benchmark --- ## En résumé - Les benchmarks non interactifs pourraient surestimer l’amélioration réelle de l’expérience utilisateur des chatbots. - Le dialogue en plusieurs tours peut aider à planifier un voyage, résoudre des problèmes Github et personnaliser durablement un assistant. - Le system prompt reste fragile, tandis que MT-Bench et Alpaca-Eval évaluent surtout le suivi d’instructions en un tour. **Le signal :** Deux agents pilotés par des prompts système peuvent dialoguer sur un nombre de tours potentiellement illimité pour tester la constance des chatbots. ## Les chatbots dépassent les benchmarks Les progrès mensuels des chatbots fondés sur les grands modèles de langage (LLM) sont principalement évalués avec des benchmarks comme MMLU, HumanEval et MATH, notamment pour Sonnet 3.5 et GPT-4o. Mais à mesure que ces scores se rapprochent de la saturation, rien ne garantit que l’expérience utilisateur progresse dans les mêmes proportions. Pour envisager une collaboration durable entre humains et IA plutôt qu’un remplacement des humains, les méthodes actuelles de mesure des systèmes de dialogue pourraient être insuffisantes: elles évaluent surtout des performances non interactives. Un dialogue orienté vers un but désigne une conversation en plusieurs tours centrée sur un objectif ou une intention. Celui-ci peut rester général, comme être « inoffensif et utile », ou correspondre à un rôle précis: agent de planification de voyage, psychothérapeute ou service client. Dans le cas d’un voyage, les préférences de l’utilisateur, celles de ses compagnons et les contraintes de la situation réelle sont trop nombreuses pour être transmises efficacement en une seule fois. Les échanges successifs permettent de sélectionner les informations importantes. La théorie de la négociation fournit une analogie: un marchandage itératif produit de meilleurs résultats qu’une offre unique à prendre ou à laisser. ## Le dialogue transforme la collaboration Chaque intervention ne sert pas uniquement à transmettre une information. Selon la formulation de Terry Winograd citée dans la source, l’usage du langage peut être compris comme une manière d’activer des procédures chez l’interlocuteur. Chaque énoncé devient alors une action destinée à modifier le modèle du monde de l’autre. Le dialogue orienté vers un but permet ainsi de décrire l’interaction humain-IA comme un jeu collaboratif, dans lequel le chatbot aide l’utilisateur à atteindre ses objectifs. Cette approche pourrait aussi concerner la génération de code. Les benchmarks actuels mesurent principalement une génération en un seul passage. Pourtant, pour automatiser des problèmes ordinaires de dépôts Github, comme ceux évalués par SWE-bench, l’IA devrait probablement échanger avec les ingénieurs: vérifier les exigences, demander la documentation ou les données manquantes, voire solliciter leur aide. À la manière du pair programming, ces échanges pourraient réduire les défauts du code sans augmenter la charge en heures de travail. Avec des interactions longues et une mémoire, un assistant comme IVA ou Siri pourrait également apprendre les préférences et intentions de l’utilisateur, lire Twitter, arXiv, Slack ou le New York Times, produire un résumé matinal personnalisé et améliorer ses brouillons d’e-mails à partir des corrections reçues. ## Des scripts aux modèles génératifs Les premiers systèmes de dialogue reposaient sur des scénarios explicites. Dans les années 1970, Roger Schank a présenté le « restaurant script », qui décomposait une expérience en étapes comme entrer, commander, manger et payer, avec des formulations prévues pour chaque situation. ELIZA, simulateur de psychothérapeute rogerien, et PARRY, conçu pour imiter une personne paranoïaque, ont également précédé l’essor de l’apprentissage automatique. Les LLM modernes commencent par apprendre à prédire le token suivant sur de vastes corpus de textes issus d’Internet, comprenant notamment des actualités, des livres, du code Github et une part plus réduite de données dialoguées provenant de Reddit ou Stack Exchange. Un formatage est ensuite ajouté pour représenter les échanges, avec des balises comme `` ou ``; Hugging Face propose notamment `tokenizer.apply_chat_template`. Enfin, le RLHF récompense ou pénalise certaines réponses. Cette étape reste réduite face au pré-entraînement, à la fois par la taille des données et par les mécanismes de pénalité KL et d’ajustement ciblé des poids, comme LoRA. Le « system prompt » est le principal moyen de contrôler le comportement d’un modèle, mais des travaux cités dans la source montrent sa fragilité face à des conditions adversariales. Après plusieurs tours, ChatGPT ou Claude peuvent aussi cesser de suivre leur rôle. Les benchmarks comme MT-Bench et Alpaca-Eval couvrent le suivi d’instructions en un tour, mais l’évaluation interactive est plus difficile. Une étude menée avec des collaborateurs a donc utilisé deux agents pilotés par des prompts système, capables de dialoguer sur un nombre de tours potentiellement illimité afin de tester leur maintien des instructions.