Les LLM torpillent la cohérence multi-tours

Les capacités des chatbots basés sur les modèles de langage (LLM) continuent de s’améliorer, principalement évaluées par des benchmarks tels que MMLU et HumanEval. Cependant, malgré ces améliorations, ces mesures classiques ne reflètent pas nécessairement la qualité de l’expérience utilisateur. Actuellement, elles se concentrent sur des évaluations non interactives, ce qui limite la pertinence des interactions des chatbots dans des contextes où une collaboration humaine-IA est recherchée.

Le dialogue intentionnel est proposé comme solution potentielle pour améliorer cette interaction. Un dialogue intentionnel consiste en des échanges multi-tours entre l’utilisateur et le chatbot, centrés sur un objectif spécifique. Cela peut inclure des tâches variées comme la planification de voyages ou l’assistance thérapeutique. En permettant des échanges d’informations progressive, ce format pourrait permettre aux chatbots de mieux comprendre et accomplir les intentions des utilisateurs, dépassant le simple ajustement à des instructions ponctuelles.

À l’ère des LLM

À l’ère des LLM, des défis subsistent, notamment en matière de cohérence des instructions dans des dialogues prolongés. Des études montrent que même pour des modèles performants comme gpt-3.5-turbo-16k, la capacité à suivre un ensemble d’instructions se dégrade rapidement après plusieurs tours de dialogue. Cela soulève des questions sur l’efficacité des méthodes actuelles d’apprentissage par renforcement comme RLHF (Reinforcement Learning with Human Feedback) en contexte de conversation continue.

En 2024, les chercheurs ont tenté de synthétiser de longs dialogues pour évaluer la stabilité des instructions. Les résultats indiquent que la capacité des modèles à maintenir des dialogues intentionnels reste limitée, ce qui pourrait impacter la sécurité et la fiabilité des informations échangées. Des solutions comme le