LLaMA2 et GPT-3.5 perdent leurs consignes au fil du dialogue

Les benchmarks progressent rapidement. Les capacités des chatbots fondés sur les grands modèles de langage avancent chaque mois. Leur progression est surtout mesurée avec MMLU, HumanEval et MATH. Les exemples cités incluent Sonnet 3.5 et GPT-4o. Pourtant, la saturation progressive de ces évaluations pose une question sur l’expérience utilisateur. Ces tests mesurent principalement des performances sans interaction prolongée. Ils ne décrivent donc pas directement une conversation construite autour d’un objectif. L’analyse publiée par The Gradient propose de considérer le dialogue intentionnel comme une interaction en plusieurs tours. Le but peut être général, comme rester utile et inoffensif, ou spécialisé, comme organiser un voyage ou assister un client.

Le dialogue sélectionne les informations. La préparation d’un voyage illustre cette approche. Les préférences de plusieurs voyageurs et les contraintes réelles sont coûteuses à transmettre en une seule fois. Des échanges successifs permettent de partager progressivement les informations importantes. L’analyse rapproche ce fonctionnement d’une négociation itérative, qui produit de meilleurs résultats qu’une offre unique. Chaque phrase peut aussi modifier la représentation du monde de l’autre interlocuteur. Le dialogue devient alors une forme de collaboration entre deux acteurs poursuivant des objectifs. Cette logique concerne également la génération de code. Pour résoudre des problèmes ordinaires sur GitHub, un chatbot devrait comprendre les exigences, demander des documents manquants et solliciter l’aide d’ingénieurs logiciels lorsque cela est nécessaire.

Les chatbots perdent leurs instructions

Les usages deviennent longitudinaux. Une interaction répétée peut permettre à un assistant de mettre progressivement à jour un profil utilisateur et d’adapter ses réponses. L’analyse cite l’exemple d’un assistant personnel, comme IVA ou Siri, qui apprend les préférences et les intentions au fil des échanges. Il pourrait lire des ressources comme Twitter, arXiv, Slack ou le New York Times, puis produire un résumé matinal personnalisé. Il pourrait aussi rédiger des courriels et améliorer ses propositions grâce aux corrections de l’utilisateur. Ces usages supposent toutefois une continuité conversationnelle. Ils s’éloignent du fonctionnement évalué par une question isolée et une réponse unique.

La stabilité reste fragile. Les systèmes de dialogue modernes combinent plusieurs étapes. Le préentraînement apprend à prédire le prochain jeton sur un vaste corpus de textes internet. Un formatage spécifique transforme ensuite l’historique en messages système et échanges passés. L’apprentissage par renforcement à partir de retours humains intervient enfin comme une étape d’ajustement. Des travaux cités ont testé la stabilité des instructions avec deux agents guidés par des messages système. Les agents dialoguaient pendant plusieurs tours, puis répondaient à des questions liées à ces instructions. Les résultats agrégés concernant LLaMA2-chat-70B et gpt-3.5-turbo-16k sont décrits comme préoccupants. Les modèles pouvaient dériver après plusieurs échanges.

Le dialogue vise des décisions complexes

Le contexte long ne suffit pas. Certains modèles peuvent théoriquement traiter une fenêtre atteignant 100 000 jetons. Dans le cadre étudié, ils pouvaient toutefois être distraits après environ 1 600 jetons, en supposant 100 jetons par phrase. Cette observation oppose la longueur disponible à la stabilité réelle du dialogue. L’analyse attribue cette difficulté au fonctionnement des modèles Transformer et au schéma actuel des instructions. Elle présente aussi split-softmax comme une technique destinée à limiter certains effets. Le problème dépasse la mémoire textuelle. Un chatbot peut rester fluent tout en perdant le rôle ou l’objectif qui devait guider ses réponses. Le projet SWE-bench illustre pourquoi plusieurs échanges peuvent être nécessaires pour traiter des problèmes logiciels réels.

Les objectifs dépassent les préférences. L’analyse distingue l’apprentissage de préférences et la poursuite d’intentions. L’apprentissage par renforcement à partir de retours humains est présenté, dans sa formulation originelle, comme un problème de récompense en une étape. Cette formulation ne planifie pas directement une conversation complète. L’analyse cite aussi le dialogue orienté décision, qui aide des personnes à prendre des décisions complexes, notamment pour organiser un itinéraire ou négocier un voyage entre amis. La plateforme Sotopia regroupe de son côté des scénarios de collaboration, de négociation et de persuasion. Ces travaux déplacent l’évaluation d’une réponse isolée vers la capacité à maintenir une interaction et à progresser vers un objectif.