# LLaMA2 et GPT-3.5 : fragilité après 1,6k tokens

> La perte de stabilité des chatbots LLaMA2-chat-70B et GPT-3.5-turbo-16k après 1,6k tokens pose des enjeux de sécurité majeurs.

Type : Actualité IA · Catégorie : Tendances · Publié le 2026-07-22 · Signal IA - Order & Chaos
Source : https://www.orderchaos.eu/signal-ia/actu/llama2-et-gpt-35-fragilite-apres-16k-tokens
Tags : chatbots, llm, interaction, rlhf, dialogue

---

## En résumé

- Les chatbots LLM mesurent leur progrès via des benchmarks, mais ces améliorations ne reflètent pas toujours une meilleure interaction utilisateur.
- Les dialogues orientés objectif sont cruciaux pour des interactions riches et pertinentes, bien que complexes à maintenir.
- Les modèles actuels montrent une fragilité après plusieurs échanges, entraînant des problèmes de sécurité et de fidélité.

**Le signal :** Les performances des modèles LLaMA2-chat-70B et GPT-3.5-turbo-16k en 2024 montrent une instabilité après 1,6k tokens.

**Les progrès des chatbots** basés sur des modèles de langage de grande taille (LLM) sont régulièrement évalués par des benchmarks comme MMLU et HumanEval. Cependant, ces progrès ne garantissent pas toujours une amélioration proportionnelle de l'expérience utilisateur, mettant en évidence des failles dans l'approche actuelle. Pour en savoir plus sur ces enjeux, l'article complet est disponible [ici](https://thegradient.pub/dialog/).

**Focus sur les dialogues** orientés objectif : Ces interactions consistent à engager [les chatbots dans des conversations](/signal-ia/actu/chatbots-llm-pourquoi-peinent-ils-a-trouver-un-but) ayant un but clair, comme assister à la planification de voyages ou offrir un support psychologique. Cela permet une communication plus efficace, imitant des situations de négociation où les informations précises sont échangées sur plusieurs tours de dialogue.

**Défis de cohérence** et de stabilité : Les systèmes comme LLaMA2-chat-70B et GPT-3.5-turbo-16k rencontrent [des difficultés à maintenir leur stabilité après environ 1,6k tokens](/signal-ia/actu/chatbots-llm-instabilite-dans-les-longs-dialogues-revelee). Ce problème de dérive augmente le risque de failles en termes de sécurité et de performance, car les modèles s'écartent des instructions initiales prévues par leurs systèmes prompts.

**Implications sectorielles** : Pour les entreprises françaises, intégrer des chatbots avec des capacités de dialogue plus interactives pourrait révolutionner la gestion de la relation client et optimiser l'automatisation des processus. Cela permettrait non seulement de répondre plus précisément aux attentes des clients, mais aussi de réduire les coûts opérationnels.

**Comparaison avec d'autres approches** : Dans le cadre de l'évolution des chatbots, des projets comme [Sotopia](https://sergeylevine.substack.com/p/offline-rl-and-large-language-models) ont montré qu'une structure de dialogue axée sur la décision et la collaboration peut offrir des scénarios plus complexes et engageants, enrichissant considérablement l'expérience utilisateur.

**Vers l'avenir** : Le développement continu de systèmes de dialogue orientés vers la décision reste une priorité. Des simulations avancées visent à transformer la collaboration entre humains et machines, ce qui promet d'élargir encore davantage le champ des possibilités pour l'intelligence artificielle dans le quotidien humain, comme le souligne le projet [Sotopia](https://arxiv.org/pdf/2302.13971).