Sergey Levine réclame des objectifs pour évaluer les chatbots

Les chatbots progressent chaque mois, mais leurs performances sont surtout évaluées par des tests de référence comme MMLU, HumanEval et MATH. L’article consacré au dialogue orienté vers un but estime que ces mesures isolées ne suffisent pas pour juger l’expérience utilisateur. Cette limite devient importante si la collaboration entre humains et IA constitue l’hypothèse de travail. Un dialogue utile ne consiste pas seulement à produire la prochaine séquence de mots. Il doit accompagner plusieurs échanges autour d’un objectif ou d’une intention. Cet objectif peut rester général, comme fournir une aide inoffensive, ou devenir spécialisé, comme planifier un voyage ou assurer un service client.

Le dialogue sélectionne progressivement les informations nécessaires à une décision. Pour organiser un voyage, les préférences des participants et les contraintes réelles rendent une transmission unique coûteuse. Plusieurs échanges permettent de transmettre seulement les éléments importants. L’article rapproche ce fonctionnement d’une négociation itérative, qui peut produire un meilleur résultat qu’une proposition unique. Chaque phrase peut aussi modifier la représentation que l’autre partie se fait de la situation. Cette approche décrit l’interaction comme une collaboration entre deux agents poursuivant des objectifs. Elle s’applique également au développement logiciel, où un agent doit comprendre les exigences, demander des documents manquants et solliciter l’aide d’ingénieurs.

Les agents doivent rester orientés

Le développement exige souvent davantage qu’une génération en une seule passe. Pour résoudre des problèmes ordinaires issus de GitHub, les agents doivent dialoguer avec des ingénieurs logiciels afin de vérifier les exigences et les données disponibles. L’article rapproche cette pratique de la programmation en binôme et cite SWE-bench comme exemple de problème d’automatisation. Des échanges prolongés peuvent aussi permettre de construire une mémoire et d’actualiser progressivement un profil utilisateur. Un assistant personnel pourrait apprendre des préférences quotidiennes, consulter des ressources comme Slack ou arXiv, puis préparer un résumé matinal. Il pourrait également rédiger des courriels et progresser grâce aux corrections de son utilisateur.

Les modèles actuels sont entraînés principalement à prédire le prochain token sur de vastes corpus de textes. Une mise en forme spécifique transforme ensuite les chaînes de caractères en historique structuré avec consignes système et échanges précédents. Les gabarits de conversation de Hugging Face illustrent cette étape. L’apprentissage par renforcement à partir de retours humains, ou RLHF, intervient ensuite pour récompenser certaines réponses et en pénaliser d’autres. L’article le décrit comme une couche ajoutée après le préentraînement. Selon cette analyse, le RLHF originel traite la maximisation de récompense comme un problème en une étape, sans planification générale sur plusieurs tours.

Les tests mesurent la stabilité

Les consignes dérivent parfois après plusieurs échanges. Les systèmes peuvent suivre correctement une instruction dans une nouvelle conversation, puis perdre leur rôle au fil des tours. Des chercheurs ont donc créé un environnement où deux agents guidés par des consignes système dialoguent pendant un nombre prolongé de tours. À chaque étape, une question liée aux consignes évalue ensuite leur respect. Les résultats agrégés cités pour LLaMA2-chat-70B et gpt-3.5-turbo-16k montrent une stabilité préoccupante. L’article associe cette dérive à des risques de sécurité, car un chatbot qui s’éloigne de ses consignes de sûreté peut devenir plus vulnérable aux contournements et aux hallucinations.

La longueur théorique du contexte ne garantit pas une conversation stable. Certains modèles peuvent traiter une fenêtre atteignant 100 000 tokens, mais l’article rapporte une distraction après environ 1 600 tokens dans un scénario donné. Cette estimation suppose des interventions de 100 tokens chacune. L’auteur présente aussi split-softmax comme une technique destinée à réduire cet effet. Il distingue enfin la préférence de l’intention. Sergey Levine oppose la production de réponses conformes aux préférences à la sélection d’actions orientées vers un objectif séquentiel. Des travaux comme le dialogue orienté vers la décision et la plateforme Sotopia explorent déjà la collaboration, la négociation et la persuasion.