En résumé
Les chercheurs de Nvidia jugent les très grandes fenêtres de contexte vouées à l’échec.
GPT 5.6 Sol traite environ un million de tokens, soit 120 fois la capacité de GPT-4.
Les résumés périodiques et les recherches ciblées obtiennent des résultats comparables dans de nombreux tests.
Le signal : Les chercheurs de Nvidia estiment que les résumés périodiques et recherches ciblées rivalisent avec les grandes fenêtres de contexte.
Vous appréciez ce genre d'analyse ?
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés
Les chercheurs de Nvidia estiment que les très grandes fenêtres de contexte constituent une impasse pour les modèles d’IA. Une fenêtre de contexte correspond à la mémoire de travail utilisée par un modèle de langage pour générer une réponse. Les modèles peuvent désormais traiter des romans entiers en une seule fois. Cette capacité élargit fortement la quantité de texte accessible pendant une interaction. Pourtant, les chercheurs de Nvidia défendent une approche différente. Ils affirment que des résumés périodiques et des recherches ciblées fonctionnent environ aussi bien que de grandes fenêtres de contexte dans de nombreux tests. Leur position remet donc en question l’idée selon laquelle une mémoire toujours plus vaste serait nécessaire.
La mémoire des modèles a progressé rapidement depuis le lancement de GPT-4. En mars 2023, GPT-4 disposait d’une fenêtre de contexte de 8 192 tokens. Cette fenêtre représentait la quantité de texte que le modèle pouvait garder dans sa mémoire de travail lors de la génération d’une réponse. Les modèles actuels peuvent traiter des volumes bien supérieurs. GPT 5.6 Sol peut gérer environ un million de tokens. Cette capacité représente environ 120 fois celle de GPT-4. Un million de tokens suffit également pour traiter « Guerre et Paix » de Tolstoï. Ces chiffres illustrent l’augmentation rapide de la capacité de contexte des modèles de langage.
Les tests cités par Nvidia opposent les grandes fenêtres de contexte à deux techniques distinctes. La première consiste à produire des résumés périodiques du contenu déjà traité. La seconde repose sur des recherches ciblées, afin de retrouver les éléments utiles au moment nécessaire. Selon les chercheurs de Nvidia, ces deux méthodes ont fonctionné environ aussi bien que les grandes fenêtres de contexte dans de nombreux tests. Cette comparaison ne porte donc pas seulement sur la quantité de texte accessible. Elle porte aussi sur la manière dont un modèle retrouve et conserve les informations utiles. Nvidia présente ainsi les résumés et les recherches ciblées comme des alternatives aux fenêtres toujours plus larges.
L’écart entre modèles apparaît clairement avec les chiffres disponibles. GPT-4, lancé en mars 2023, utilisait une fenêtre de 8 192 tokens. GPT 5.6 Sol atteint environ un million de tokens. Cette dernière capacité équivaut à près de 120 fois celle de GPT-4. Elle permet de traiter un ouvrage comme « Guerre et Paix » en une seule fois. Les modèles peuvent aussi traiter des romans entiers à la fois. Malgré cette progression, les chercheurs de Nvidia soutiennent que la taille seule ne suffit pas à déterminer l’efficacité. Ils associent leur argument aux résultats obtenus avec des résumés périodiques et des recherches ciblées.
La position de Nvidia donne la priorité à la sélection de l’information plutôt qu’à son accumulation. Les chercheurs affirment que les recherches ciblées et les résumés périodiques fonctionnent environ aussi bien que les grandes fenêtres dans de nombreux tests. Cette affirmation porte sur les résultats observés dans ces tests. Elle ne supprime pas la capacité des modèles à traiter de longs documents. GPT 5.6 Sol peut toujours gérer autour d’un million de tokens. Cette quantité suffit pour traiter « Guerre et Paix » de Tolstoï. Le débat porte donc sur la méthode de gestion du contenu, entre mémoire étendue et accès ciblé aux informations nécessaires à une réponse.
Le débat sur le contexte oppose désormais deux trajectoires clairement identifiées. La première augmente la fenêtre de mémoire jusqu’à environ un million de tokens, comme avec GPT 5.6 Sol. La seconde utilise des résumés périodiques et des recherches ciblées, que les chercheurs de Nvidia jugent comparables dans de nombreux tests. GPT-4 fournit un point de comparaison concret avec ses 8 192 tokens au lancement, en mars 2023. L’écart atteint environ 120 fois entre GPT-4 et GPT 5.6 Sol. Pour suivre cette discussion, consultez l’analyse publiée par The Decoder et le profil de Jonathan Kemper.
Gardez un coup d'avance en IA et tech.
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Zéro spam.
+11 000 fondateurs abonnés