Chatbots LLM : pourquoi peinent-ils à trouver un but ?

Les chatbots basés sur des modèles de langage de grande taille (LLM) continuent de progresser techniquement, mais selon un article de The Gradient, ils éprouvent des difficultés à engager des dialogues vraiment orientés. Les évaluations traditionnelles, comme MMLU ou HumanEval, ne capturent pas pleinement la qualité de l’expérience utilisateur lorsqu’il s’agit de collaborations homme-IA. Cette lacune remet en question l’approche actuelle, où l’IA ne remplace pas mais complète les capacités humaines, notamment dans des rôles spécialisés comme ceux des agents de voyage ou des assistants personnels.

Actuellement, les mécanismes de dialogue des LLM s’appuient sur des scripts formés pour prédire le prochain mot, sans profondeur réelle en termes d’interaction. Cette méthode statique s’avère inefficace pour des objectifs plus complexes qui nécessitent un échange d’informations en plusieurs tours. Historiquement, des systèmes comme ELIZA et PARRY ont montré l’intérêt d’un dialogue structuré, mais la complexité moderne nécessite une approche dynamique pour réaliser des interactions efficaces.

Des chercheurs ont observé que les chatbots modernes, tels que LLaMA2-chat-70B et GPT-3.5-turbo-16k, montrent une instabilité instructions après plusieurs tours de conversation. Cela constitue non seulement un défi pour l’ingénierie des invites mais pose également des problèmes de sécurité, car les chatbots peuvent ne pas suivre leurs lignes directrices de sécurité. Cette instabilité dans les longs dialogues représente un enjeu majeur pour l’industrie.

L’enjeu est crucial pour des tâches complexes comme la génération de code, où un dialogue en continu avec des humains pourrait résoudre des problèmes spécifiques. En semblant à la programmation en binôme, cela diminuerait les défauts sans augmenter les heures de travail. De même, un assistant personnel pourrait adapter ses réponses en fonction des préférences de l’utilisateur, les ajustant au fur et à mesure des interactions quotidiennes.

Pour les entreprises françaises, intégrer de tels systèmes de dialogue pourrait transformer les interactions homme-IA et interne en renforçant la personnalisation et l’efficacité. Toutefois, ces entreprises doivent être conscientes des limitations actuelles des modèles et des défis associés à la sécurité et à l’adaptabilité des chatbots. Cela pourrait influencer les stratégies d’adoption de l’IA, particulièrement dans des secteurs à forte intensité d’interaction comme le service client ou la consultation professionnelle.

Alors que des avancées comme les dialogues orientés vers les décisions sont explorées, la communauté IA reste confrontée à des limitations techniques majeures. Des initiatives telles que Sotopia tentent de modéliser ces dialogues centrés sur des objectifs, mais la mise en œuvre doit encore prouver sa robustesse au-delà des scénarios simulés.

Pour en savoir plus sur ces recherches et développements, vous pouvez consulter les publications pertinentes disponibles sur The Gradient et d’autres plateformes telles que HuggingFace et SWE-bench. Pour aller plus loin, consultez notre guide sur déployer un chatbot IA pour le service client.