The Gradient révèle les failles de LLaMA2 et GPT-3.5 en dialogue long

Les scores progressent Les capacités des chatbots fondés sur les grands modèles de langage avancent chaque mois. Leur évolution est principalement mesurée avec MMLU, HumanEval et MATH. Pourtant, la progression de ces scores ne garantit pas une expérience utilisateur proportionnelle. Une analyse publiée par The Gradient estime que les évaluations actuelles restent insuffisantes pour une collaboration durable entre humains et IA. Elles testent surtout les systèmes de manière non interactive. Le dialogue orienté vers un objectif propose une autre unité d’analyse. Il repose sur plusieurs échanges autour d’une intention précise. Cette intention peut concerner un voyage, un service client ou une assistance thérapeutique.

Le dialogue sélectionne La planification d’un voyage illustre cette approche. Les préférences de chaque voyageur et les contraintes réelles rendent une transmission unique trop coûteuse. Plusieurs échanges permettent de sélectionner progressivement les informations importantes. La théorie de la négociation fournit une analogie. Un marchandage itératif peut produire de meilleurs résultats qu’une offre unique, selon l’analyse. Chaque phrase agit aussi sur la représentation du monde de l’interlocuteur. Le dialogue devient alors un jeu collaboratif entre deux parties. Pour un chatbot, l’objectif consiste à aider une personne à atteindre son but. Cette approche dépasse la simple production de réponses plausibles.

Les agents doivent clarifier les besoins

Le code exige plusieurs tours Cette logique concerne aussi la génération de code. Les évaluations existantes mesurent souvent une génération en une seule passe. Résoudre une issue ordinaire sur GitHub, comme dans SWE-bench, peut demander une interaction avec des ingénieurs logiciels. Le système doit vérifier les exigences, demander une documentation manquante et solliciter de l’aide si nécessaire. Un fonctionnement proche de la programmation en binôme pourrait réduire les défauts sans augmenter les heures humaines consacrées au développement. Le dialogue ouvre également des usages plus longs. Un assistant personnel pourrait apprendre les préférences, lire Twitter, arXiv, Slack ou le New York Times, puis préparer un résumé matinal adapté.

Les formats structurent Les premiers systèmes de dialogue reposaient sur des scénarios explicites. Dans les années 1970, Roger Schank a présenté le « restaurant script », organisé autour de l’entrée, de la commande, du repas et du paiement. ELIZA simulait un psychothérapeute rogerien, tandis que PARRY imitait une personne paranoïaque. Les systèmes actuels commencent par un préentraînement sur de grands corpus textuels. Un format de dialogue est ensuite ajouté pour représenter les consignes et les échanges précédents. Des outils comme apply_chat_template convertissent cette structure en chaînes traitables. Le RLHF intervient ensuite pour récompenser ou pénaliser certaines réponses.

Les consignes perdent leur stabilité

Les échanges dérivent Le prompt système reste la principale méthode de contrôle du comportement d’un modèle de langage. Des travaux signalent toutefois une fragilité face aux conditions adversariales. Dans une conversation prolongée, un chatbot peut cesser de suivre son rôle initial. Une équipe de chercheurs a testé cette stabilité avec deux agents guidés par des prompts système. Ils échangeaient pendant un nombre étendu de tours. À chaque étape, une question liée aux consignes permettait ensuite d’évaluer la réponse. Les résultats agrégés concernant LLaMA2-chat-70B et gpt-3.5-turbo-16k sont décrits comme alarmants. Cette dérive augmente aussi la sensibilité aux contournements et aux hallucinations.

Le contexte ne suffit pas Certains modèles peuvent théoriquement traiter jusqu’à 100 000 tokens. Dans un dialogue, ils se déconcentreraient pourtant après environ 1 600 tokens, en supposant 100 tokens par échange. L’analyse relie cette limite au fonctionnement des chatbots fondés sur des Transformers et au schéma actuel de prompts. Elle propose split-softmax pour réduire cet effet. Le préentraînement apprend une distribution de personas présentes sur Internet, mais il ne sélectionne pas toujours correctement celle imposée par une consigne. Le RLHF adapte le modèle vers un assistant serviable et inoffensif. Cependant, son modèle initial traite la récompense comme un problème à une étape, sans planification conversationnelle complète.