Par Arthur Dekeyser
En résumé
Meta FAIR permet à Kimi-K2.6 de rédiger ses propres prompts mémoire.
Le système distille ensuite ces prompts optimisés dans les poids du modèle.
Kimi-K2.6 obtient 56,0 contre 44,6 pour le meilleur dispositif écrit manuellement.
Le signal : Kimi-K2.6 atteint 56,0 sur Continual Learning Bench, contre 44,6 pour le meilleur dispositif mémoire écrit manuellement.
Vous appréciez ce genre d'analyse ?
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés
Meta FAIR présente Self-Improving Memory, un dispositif conçu pour Kimi-K2.6. Le système permet au modèle d’écrire ses propres prompts de mémoire. Ces prompts utilisent les opérations LOAD et OFFLOAD. Le dispositif optimise ensuite ces prompts pour l’apprentissage continu. Les prompts optimisés sont finalement distillés dans les poids du modèle. Cette méthode associe donc une génération de consignes mémoire à une modification des poids. Le résultat rapporté atteint 56,0 sur Continual Learning Bench. La comparaison porte sur le meilleur dispositif mémoire écrit manuellement, qui obtient 44,6. L’écart entre les deux résultats est de 11,4 points sur ce banc d’évaluation. Lire la publication de MarkTechPost
Kimi-K2.6 génère les prompts utilisés par son propre dispositif mémoire. Le système ne repose donc pas uniquement sur un ensemble de consignes rédigées manuellement. Il produit des instructions LOAD et OFFLOAD destinées à gérer la mémoire du modèle. Ces instructions sont ensuite optimisées dans le cadre de l’apprentissage continu. Le résumé présente cette capacité comme le cœur de Self-Improving Memory. Il indique aussi que les prompts optimisés sont distillés dans les poids de Kimi-K2.6. Le processus relie ainsi les prompts mémoire au modèle lui-même. Le score de 56,0 mesure le résultat de cette approche sur Continual Learning Bench. Le score de référence atteint 44,6 avec le meilleur dispositif écrit manuellement.
La distillation intervient après l’optimisation des prompts mémoire. Self-Improving Memory laisse Kimi-K2.6 écrire ses propres consignes LOAD et OFFLOAD. Le système utilise ensuite ces consignes optimisées pour l’apprentissage continu. Leur contenu est distillé dans les poids du modèle. Cette étape distingue l’approche d’un simple dispositif de prompts conservé séparément. Le résultat communiqué par Meta FAIR est mesuré sur Continual Learning Bench. Kimi-K2.6 y atteint 56,0. Le meilleur dispositif mémoire écrit manuellement atteint 44,6. La différence rapportée est donc de 11,4 points. Les chiffres comparent directement les deux dispositifs sur le même banc. Voir l’article original
Le benchmark compare Self-Improving Memory à un dispositif écrit manuellement. Le score de Meta FAIR s’élève à 56,0 sur Continual Learning Bench. Le meilleur dispositif manuel atteint 44,6. Cette comparaison fournit un avantage mesuré de 11,4 points pour l’approche associée à Kimi-K2.6. Le système utilise des prompts LOAD et OFFLOAD générés par le modèle. Il distille ensuite les prompts optimisés dans les poids de Kimi-K2.6. Le résultat combine donc une méthode de mémoire auto-rédigée et une phase de distillation. Ces éléments constituent le fonctionnement décrit pour Self-Improving Memory. Consulter la page de référence
Le résultat chiffré place Kimi-K2.6 à 56,0 sur Continual Learning Bench. Le meilleur dispositif mémoire écrit manuellement obtient 44,6. Self-Improving Memory dépasse donc cette référence de 11,4 points. Meta FAIR attribue ce résultat à un système dans lequel Kimi-K2.6 écrit ses prompts LOAD et OFFLOAD. Les prompts optimisés sont ensuite distillés dans les poids du modèle. Le dispositif combine ainsi génération de prompts mémoire, optimisation et distillation. Le résumé associe précisément cette méthode au score obtenu. La comparaison reste centrée sur Continual Learning Bench et sur ces deux résultats numériques. Elle établit l’écart mesuré entre l’approche de Meta FAIR et la meilleure solution écrite manuellement.
Gardez un coup d'avance en IA et tech.
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Zéro spam.
+11 000 fondateurs abonnés