GPT-3.5 peine à transformer ses scores en dialogue

Les scores progressent Les capacités des chatbots fondés sur les grands modèles de langage avancent chaque mois. Les évaluations s’appuient notamment sur MMLU, HumanEval et MATH. Des modèles comme Sonnet 3.5 et GPT-4o illustrent cette progression. Pourtant, la hausse des scores ne permet pas de conclure à une progression équivalente de l’expérience utilisateur. Ces benchmarks mesurent principalement des performances sans interaction. L’article source propose donc d’évaluer des conversations menées autour d’un objectif. Cette notion, appelée dialogue orienté vers un but, désigne un échange en plusieurs tours. Le but peut rester général, comme être utile et inoffensif. Il peut aussi définir un rôle précis, comme agent de voyage ou service client.

Le dialogue sélectionne La préparation d’un voyage montre l’intérêt des échanges successifs. Les préférences personnelles, celles des compagnons et les contraintes réelles sont coûteuses à transmettre en une seule fois. Plusieurs allers-retours permettent de sélectionner progressivement les informations importantes. L’article rapproche ce mécanisme de la théorie de la négociation. Une négociation itérative peut produire de meilleurs résultats qu’une offre unique, selon cette analogie. Le dialogue ne sert donc pas seulement à partager des informations. Chaque énoncé peut modifier le modèle que l’autre partie se fait de la situation. Cette formulation présente l’interaction humain-IA comme un jeu collaboratif, dans lequel le chatbot aide à atteindre un objectif défini.

Les agents négocient leurs objectifs

Le code exige plusieurs tours Les mêmes limites concernent la génération de code. Les benchmarks actuels évaluent largement une production réalisée en une seule passe. La résolution d’incidents ordinaires sur GitHub, comme ceux représentés par SWE-bench, pourrait exiger davantage. Le chatbot devrait vérifier les exigences auprès des ingénieurs logiciels. Il pourrait demander une documentation ou des données manquantes. Il pourrait aussi solliciter une intervention humaine lorsque cela devient nécessaire. L’article compare cette approche au pair programming. Des échanges réguliers pourraient réduire les défauts du code sans augmenter le nombre d’heures humaines, selon l’hypothèse présentée. Le dialogue devient alors une composante de l’exécution, plutôt qu’un simple habillage conversationnel.

La mémoire personnalise l’assistance Des interactions longues peuvent aussi permettre au chatbot d’actualiser progressivement des profils utilisateurs. Il pourrait adapter ses réponses aux préférences observées. L’article cite l’exemple d’un assistant personnel, comme IVA ou Siri, qui apprend au fil des échanges quotidiens. Cet assistant pourrait lire automatiquement des ressources comme Twitter, arXiv, Slack ou le New York Times. Il fournirait ensuite un résumé matinal correspondant aux préférences de l’utilisateur. Il pourrait également rédiger des courriels et améliorer ses propositions grâce aux corrections reçues. Cette vision dépend toutefois d’une interaction suivie et d’une mémoire construite dans le temps. Elle s’écarte du modèle d’un échange unique, sans que l’article la présente comme un résultat déjà obtenu.

Les consignes perdent leur stabilité

Les formats structurent les échanges Les premiers systèmes de dialogue reposaient sur des scénarios explicitement planifiés. Dans les années 1970, Roger Schank a proposé un scénario de restaurant organisé autour d’étapes comme entrer, commander, manger et payer. ELIZA simulait un psychothérapeute inspiré de l’approche rogérienne. PARRY imitait une personne paranoïaque. Les systèmes actuels suivent une autre chaîne de construction. Le préentraînement apprend à prédire le prochain token dans un vaste corpus, comprenant notamment des actualités, des livres, du code GitHub et des données de forums. Un formatage transforme ensuite les échanges en séquences exploitables. Les modèles peuvent appliquer un modèle de conversation via tokenizer.apply_chat_template. RLHF intervient ensuite pour récompenser ou pénaliser certaines réponses.

Les tests révèlent une dérive Le prompt système reste la principale méthode de contrôle du comportement d’un modèle de langage. Des travaux cités dans l’article source indiquent toutefois une fragilité face aux conditions adversariales. Les chercheurs ont créé un environnement capable de synthétiser des dialogues de longueur illimitée. Deux agents guidés par des prompts système discutent pendant plusieurs tours. À chaque tour, une question liée aux consignes permet ensuite d’évaluer la stabilité. Les résultats agrégés concernant LLaMA2-chat-70B et gpt-3.5-turbo-16k sont décrits comme alarmants. Les modèles peuvent perdre leurs instructions après plusieurs échanges. Dans l’expérience rapportée, ils deviennent distraits après environ 1 600 tokens, malgré des fenêtres théoriques pouvant atteindre 100 000 tokens.

Le but dépasse la préférence L’article distingue la stabilité d’une consigne et la réussite d’un objectif. Rester concentré sur une tâche ne garantit pas que le chatbot atteigne correctement le résultat recherché. Les travaux sur le dialogue orienté vers la décision traitent des situations comme la planification d’itinéraires et la négociation de voyages entre amis. La plateforme Sotopia regroupe aussi des scénarios de collaboration, de négociation et de persuasion. Selon l’analyse présentée, le préentraînement modélise différentes personnes et leurs usages du langage. RLHF adapte ensuite ce modèle vers un assistant utile et inoffensif. L’auteur estime toutefois que le RLHF originel, formulé comme un problème en une étape, ne suffit pas à représenter la planification conversationnelle multi-tours.