# The Gradient confronte les chatbots à l’épreuve du dialogue > Les benchmarks saturent, tandis que The Gradient défend le dialogue multi-tour pour mesurer la stabilité des chatbots et leur capacité à poursuivre un but. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-10-12 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/the-gradient-devoile-le-point-faible-des-chatbots-ia Tags : chatbots, dialogue, llm, évaluation, agents, inference --- ## En résumé - Les benchmarks actuels évaluent surtout des générations réalisées en un seul passage. - Les dialogues prolongés peuvent affaiblir la stabilité des instructions données au chatbot. - Les interactions orientées vers un but favorisent la collaboration entre humains et systèmes d’IA. **Le signal :** Les chatbots LLM peuvent perdre leurs instructions après seulement 1,6 k tokens, malgré des fenêtres de contexte théoriques allant jusqu’à 100 k tokens. **Les scores progressent** Les capacités des [chatbots](/signal-ia/actu/llama2-et-gpt-35-perdent-leur-cap-en-dialogue) fondés sur les grands modèles de langage progressent chaque mois. Leur évolution est surtout mesurée par des repères comme MMLU, HumanEval et MATH. Ces évaluations fonctionnent principalement sans interaction prolongée. Le texte publié par The Gradient interroge donc le lien entre meilleurs scores et expérience utilisateur. Il défend une autre unité d’analyse, le dialogue orienté vers un but. Cette forme désigne une conversation en plusieurs tours, centrée sur une intention. Le rôle peut rester général, comme « utile et inoffensif », ou devenir précis, comme agent de voyage, psychothérapeute ou conseiller client. L’enjeu concerne la collaboration entre humains et IA, plutôt que leur remplacement. **Le [dialogue](/signal-ia/actu/llama2-chat-70b-et-gpt-35-perdent-leur-cap-en-dialogue) sélectionne l’information** La planification d’un voyage illustre cette approche. Les préférences personnelles, celles des autres voyageurs et les contraintes réelles rendent une transmission unique trop coûteuse. Plusieurs échanges permettent de sélectionner progressivement les informations importantes. La théorie de la négociation fournit une analogie avec le marchandage itératif, présenté comme plus efficace qu’une offre définitive. Chaque énoncé peut aussi modifier le modèle du monde de l’interlocuteur. Le dialogue orienté vers un but transforme ainsi l’interaction en collaboration. Cette logique s’applique également au code. Les évaluations de génération codée mesurent souvent une production en un passage, alors que la résolution d’un problème GitHub nécessite des échanges sur les exigences, la documentation et les données. [SWE-bench](https://www.swebench.com/) sert d’exemple de ce type de problème. ## Les échanges révèlent les limites **Les modèles suivent trois étapes** Le fonctionnement décrit commence par le préentraînement. Un modèle séquentiel apprend à prédire le prochain jeton sur un vaste corpus mêlant notamment actualités, livres, code GitHub et discussions issues de Reddit ou Stack Exchange. Le format de dialogue est ensuite ajouté pour convertir les invites système et les échanges passés en chaînes traitables. Des balises comme `` ou `` peuvent encadrer ces instructions. L’apprentissage par renforcement à partir de retours humains intervient enfin. Cette étape récompense ou pénalise certaines réponses. Le texte la compare à une cerise sur le gâteau, car ses données restent bien plus limitées que celles du préentraînement. La documentation [Hugging Face](https://huggingface.co/docs/transformers/main/en/chat_templating) décrit la fonction `apply_chat_template`. **La stabilité baisse rapidement** Les auteurs évaluent la stabilité des instructions avec deux [agents](/signal-ia/actu/apple-devoile-agent-seer-le-testeur-doutils-mcp) guidés par des invites système. Ils les font dialoguer pendant plusieurs tours, puis posent à chaque étape une question liée aux instructions initiales. Une fonction de jugement mesure ensuite la réponse. Les résultats agrégés sur LLaMA2-chat-70B et gpt-3.5-turbo-16k sont décrits comme alarmants. Les modèles peuvent s’éloigner de leur rôle après plusieurs échanges. Le texte associe cette dérive à des risques de sécurité, notamment une sensibilité accrue aux contournements et davantage d’hallucinations. Il indique aussi une distraction après 1,6 k tokens, avec des énoncés de 100 tokens, malgré des fenêtres théoriques atteignant 100 k tokens. ## Le but dépasse la préférence **Les usages deviennent séquentiels** Une interaction prolongée peut permettre au chatbot de construire progressivement un profil utilisateur et d’adapter ses réponses. L’exemple proposé est celui d’un assistant personnel apprenant les préférences et les intentions quotidiennes. Il pourrait lire automatiquement des ressources comme Twitter, arXiv, Slack ou le New York Times, puis préparer un résumé matinal personnalisé. Il pourrait également rédiger des courriels et progresser grâce aux corrections de l’utilisateur. Dans le développement logiciel, un échange avec un ingénieur peut clarifier les exigences, demander une documentation absente ou solliciter une aide humaine. Cette logique s’apparente au pair programming, avec l’objectif annoncé de réduire les défauts sans augmenter les heures de travail. [Pair programming](https://en.wikipedia.org/wiki/Pair_programming) fournit le parallèle cité. **L’intention reste le manque** Le préentraînement donne au modèle une capacité à représenter des personas issues d’Internet et leurs distributions linguistiques. Pourtant, une instruction système ne suffit pas toujours à isoler durablement une persona. L’apprentissage par renforcement adapte le modèle vers un assistant utile et inoffensif, mais son approche originale formule l’optimisation comme un problème à une étape. Elle ne planifie donc pas nécessairement plusieurs tours de conversation. Le texte relie cette limite à l’ambiguïté des tâches et à une imitation superficielle des comportements humains. Ajouter davantage de dialogues aux données pourrait améliorer les résultats selon l’auteur, sans résoudre complètement l’absence de but. Il oppose enfin préférences et actions orientées vers une intention.