LLaMA2 et GPT-3.5 décrochent dans les dialogues prolongés

Les benchmarks progressent Les capacités des chatbots fondés sur des modèles de langage augmentent chaque mois. Leur progression est surtout mesurée par MMLU, HumanEval et MATH. Ces évaluations produisent toutefois des résultats dans des conditions largement non interactives. Elles ne mesurent donc pas directement la qualité d’un échange prolongé. L’article consacré au dialogue orienté vers un objectif interroge l’écart entre les scores et l’expérience utilisateur. Cette approche devient importante si la collaboration humain-IA constitue l’horizon visé. Dans ce cadre, un chatbot ne doit pas seulement générer une réponse plausible. Il doit aussi comprendre une intention, conserver un cap et ajuster ses actions pendant plusieurs tours de conversation.

Le dialogue structure l’objectif Un dialogue orienté vers un objectif rassemble plusieurs échanges autour d’une intention. La planification d’un voyage illustre cette logique. Les préférences personnelles, celles des autres voyageurs et les contraintes réelles sont coûteuses à transmettre en une seule fois. Des échanges successifs permettent de sélectionner les informations utiles. La théorie de la négociation fournit une analogie avec le marchandage itératif. Terry Winograd décrit aussi chaque énoncé comme une action qui modifie le modèle du monde de l’interlocuteur. Cette lecture transforme l’interaction humain-IA en collaboration. Le chatbot aide alors une personne à atteindre un but, au lieu de seulement prédire le prochain élément textuel.

Les chatbots perdent leurs instructions

Le code exige plusieurs tours Les limites apparaissent également dans la génération de code. Les benchmarks existants évaluent principalement une production en un seul passage. La résolution d’incidents ordinaires sur GitHub, comme ceux étudiés par SWE-bench, demande pourtant plusieurs échanges avec des ingénieurs logiciels. Le système doit vérifier les exigences, demander une documentation manquante et solliciter une aide humaine si nécessaire. Cette méthode ressemble au pair programming. Elle pourrait réduire certains défauts de code sans augmenter mécaniquement le nombre d’heures humaines. Le dialogue devient donc une composante opérationnelle de la tâche. La réponse initiale ne suffit plus lorsque les besoins restent incomplets ou ambigus.

Les tours révèlent une fragilité En 2024, la stabilité des instructions constituait un critère minimal pour un système de dialogue. Le message système restait alors le principal moyen de contrôler le comportement d’un modèle de langage. Des travaux ont toutefois observé une fragilité face à des conditions adversariales. Une équipe a créé un environnement capable de synthétiser des dialogues de longueur illimitée. Deux agents guidés par des messages système échangent, puis répondent à des questions liées à leurs instructions. Les résultats agrégés sur LLaMA2-chat-70B et gpt-3.5-turbo-16k sont jugés alarmants. Le système peut aussi devenir distrait après environ 1,6 k token, malgré des fenêtres théoriques atteignant 100 k tokens.

Le RLHF reste trop ponctuel

Les architectures privilégient le prochain token Le préentraînement apprend à un modèle séquentiel à prédire le prochain token sur un vaste corpus de textes internet. Le format de dialogue est ajouté ensuite pour représenter les messages système et les échanges précédents. Des outils comme apply_chat_template convertissent cette structure en chaîne exploitable. Le RLHF récompense ou pénalise ensuite certaines réponses. L’article le décrit comme une étape de réglage, avec des données bien plus petites que celles du préentraînement. Il souligne aussi que les méthodes RLHF originales formulent la récompense comme un problème à une étape. Elles planifient donc imparfaitement une conversation prolongée.

Les assistants construisent une mémoire Des interactions longues pourraient permettre à un assistant de mettre progressivement à jour un profil utilisateur. Il pourrait adapter ses réponses aux préférences apprises au fil des échanges. L’article évoque un assistant personnel capable de lire Twitter, arXiv, Slack ou le New York Times, puis de préparer un résumé matinal personnalisé. Il pourrait également rédiger des courriels et progresser grâce aux corrections de son utilisateur. Ces usages supposent toutefois une interaction suivie, plutôt qu’un échange isolé. Les recherches citées explorent déjà des dialogues orientés vers la décision et des simulations sociales comme Sotopia. Elles couvrent notamment la collaboration, la négociation et la persuasion, avec un objectif explicite.