Meta RAG réinvente l'IA avec des données externes

Meta a lancé en 2020 une technique nommée Retrieval-Augmented Generation (RAG) qui permet aux modèles de langage IA d’accéder à des sources externes pour améliorer la précision de leurs réponses. Cette méthode a été développée par un laboratoire de Meta et repose sur un processus en trois étapes : la récupération d’informations pertinentes, l’augmentation du contexte du prompt et la génération d’une réponse basée sur les documents récupérés. Source.

Avant l’avènement de RAG, les modèles de langage opéraient généralement avec des connaissances statiques stockées lors de leur entraînement, ignorant ainsi les informations postérieures à cette période ou spécifiques à l’utilisateur. Le RAG résout cette limite en permettant aux modèles d’intégrer des données externes pertinentes, modifiant ainsi fondamentalement la manière dont ils produisent des réponses. Cette technique est particulièrement cruciale pour les recherches web actuelles et l’actualité.

RAG dans les produits Microsoft

En février 2023, Microsoft a intégré cette technologie à grande échelle avec Bing Chat, renommé plus tard Copilot, qui utilise GPT-4 couplé à des recherches web en temps réel. Cela a non seulement démocratisé la technologie, mais a aussi établi RAG comme un standard industriel pour garantir la vérifiabilité des réponses des IA. Contrairement aux modèles définis qui statuaient sur des mémoires potentiellement obsolètes, le RAG permet une mise à jour continue des connaissances.

Défis et avenir du RAG

Malgré ses avantages, le RAG n’est pas exempt de limitations. L’échec lors de l’étape de récupération peut mener à des réponses incorrectement fondées. Néanmoins, il reste indispensable pour traiter l’actualité, une tâche où même les fenêtres contextuelles les plus larges battent en retrait. Bien que de nouvelles générations de LLM puissent ingérer de vastes quantités de texte, le RAG demeure plus efficient pour les tâches nécessitant des données mises à jour en temps réel.

En conclusion, le RAG s’est imposé comme une innovation clé pour l’IA, permettant une cohésion entre la rapidité de transmission d’informations pertinentes et la production de réponses par les modèles de langage. Les acteurs industriels, conscients de son importance, continuent de l’intégrer dans leurs systèmes pour maintenir la fiabilité et la pertinence des informations fournies. Vous pouvez consulter plus de détails techniques dans la publication originale.