Les longs dialogues font dérailler LLaMA 2 et GPT-3.5

Les modèles progressent Les chatbots fondés sur les grands modèles de langage améliorent leurs performances chaque mois. Les évaluations s’appuient notamment sur MMLU, HumanEval et MATH. Des modèles comme Sonnet 3.5 et GPT-4o illustrent cette progression. Pourtant, ces scores mesurent principalement des réponses produites sans interaction prolongée. L’article consacré au dialogue intentionnel interroge donc le lien entre performance benchmark et expérience utilisateur. Il défend une autre unité d’analyse. Une conversation devrait être évaluée selon sa capacité à poursuivre un objectif sur plusieurs échanges. Le dialogue peut viser une aide générale, une planification de voyage, un service client ou une collaboration technique. Cette approche place l’intention au centre de l’échange. (Article original)

Le dialogue affine les objectifs Une planification de voyage exige souvent plusieurs échanges. Les préférences de chaque voyageur, les contraintes et les informations utiles ne sont pas toujours transmises en une seule fois. Des échanges successifs permettent de sélectionner progressivement les éléments importants. L’article rapproche ce mécanisme du marchandage itératif étudié en théorie de la négociation. Chaque phrase peut aussi modifier le modèle mental de l’interlocuteur. Terry Winograd décrit ainsi le langage comme un moyen d’activer des procédures chez l’auditeur. Dans cette conception, le chatbot ne produit pas seulement du texte. Il participe à un jeu collaboratif orienté vers un objectif. Cette structure pourrait également concerner le développement logiciel et l’assistance personnelle.

Les dialogues testent la stabilité

Le code exige plusieurs tours Les benchmarks de génération de code évaluent souvent une production en une seule passe. La résolution d’incidents ordinaires sur GitHub demande pourtant une compréhension précise des exigences. Un assistant peut devoir demander des documents manquants, solliciter des données ou obtenir l’aide d’un ingénieur. L’article relie cette méthode au pair programming. Elle est également rapprochée de SWE-bench, qui évalue des tâches issues de dépôts logiciels réels. (SWE-bench) Les dialogues prolongés ouvrent aussi des usages d’assistance personnelle. Un assistant pourrait mettre à jour un profil de préférences, lire des ressources comme Slack ou arXiv, puis préparer un résumé matinal. Il pourrait enfin rédiger des courriels et apprendre des corrections de l’utilisateur.

Le format reste artificiel Les premiers systèmes de dialogue reposaient sur des scénarios écrits. Roger Schank a notamment décrit un scénario de restaurant structuré par l’entrée, la commande, le repas et le paiement. ELIZA et PARRY ont ensuite simulé des rôles conversationnels avant l’essor de l’apprentissage automatique. Les modèles actuels commencent par prédire le prochain token sur de vastes corpus. Ils reçoivent ensuite un format distinguant les instructions système et les échanges précédents. Les modèles de langage utilisent parfois une fonction de modèle conversationnel proposée par les outils Hugging Face. (Documentation Hugging Face) Le RLHF intervient ensuite pour récompenser ou pénaliser certaines réponses. Cette étape utilise moins de données que le préentraînement.

Les modèles décrochent après 1,6 k tokens

Les tests révèlent une dérive Une étude décrite dans l’article fait dialoguer deux agents guidés par des instructions système. Le dialogue principal peut s’étendre sur huit tours, avec les messages a1, b1 jusqu’à a8, b8. À chaque tour, une question liée aux instructions mesure leur respect. Les résultats agrégés concernant LLaMA2-chat-70B et gpt-3.5-turbo-16k sont jugés préoccupants. Les modèles peuvent perdre leur rôle après plusieurs échanges. L’article indique aussi qu’ils deviennent distraits après environ 1,6 k tokens, avec des messages de 100 tokens. Cette observation contraste avec des fenêtres de contexte théoriques pouvant atteindre 100 k tokens. Une technique appelée split-softmax est proposée pour limiter cet effet.

L’intention dépasse les préférences Le RLHF classique formule l’optimisation de récompense comme un problème à une étape. Cette formulation ne représente pas entièrement une conversation nécessitant une planification sur plusieurs tours. L’article distingue ainsi l’apprentissage de préférences et la poursuite d’intentions. Sergey Levine résume cette différence entre sélectionner des actions orientées vers un but séquentiel et produire des réponses satisfaisant des préférences. Des travaux explorent déjà le dialogue orienté décision. Ils couvrent notamment la planification d’itinéraires et la négociation de voyages entre amis. La plateforme Sotopia compile aussi des scénarios de collaboration, de négociation et de persuasion. Ces approches proposent d’évaluer les assistants sur leurs objectifs, pas seulement sur leurs réponses.