Apple améliore la génération libre avec probe guidance

Apple présente probe guidance, une méthode destinée à guider les modèles entraînés par appariement de flux. L’équipe publie ses résultats en septembre 2026 dans le domaine des méthodes et algorithmes. Rohit Dilip, Tianrong Chen, Yuyang Wang, David Van Valen, Josh Susskind et Miguel Angel Bautista signent le travail. David Van Valen et Rohit Dilip sont affiliés au Caltech pour cette contribution. Les auteurs appliquent leur méthode aux modèles de langage par diffusion continus. Selon leurs évaluations, probe guidance établit un nouveau meilleur résultat pour la génération non conditionnée. La publication est disponible sur le site de recherche d’Apple et dans l’article arXiv.

La méthode utilise les états internes figés d’un modèle de diffusion existant. Ces états servent à construire un signal de guidage pour le modèle de langage par diffusion. Les auteurs rapprochent ce principe de l’autoguidage. Probe guidance supprime toutefois un passage avant supplémentaire pendant l’inférence. La méthode fournit aussi un chemin permettant aux modèles faible et fort de partager une dynamique similaire. Les travaux étudient ainsi une technique de guidage sans ajouter ce calcul pendant l’utilisation du modèle. Cette conception concerne les modèles de langage par diffusion continus. Apple présente cette approche comme une méthode pratique pour améliorer ces modèles, tout en analysant le fonctionnement de l’autoguidage.

Apple applique probe guidance

Les évaluations portent sur plusieurs usages des modèles de langage par diffusion. En génération non conditionnée, probe guidance atteint un nouveau meilleur résultat selon les auteurs. Sur un modèle de langage par diffusion de 1,7 milliard de paramètres, la méthode améliore régulièrement les performances sur plusieurs évaluations de questions à choix multiple. Le résultat concerne donc à la fois la génération et la réponse à des questions évaluées par choix. Les auteurs ne présentent pas probe guidance comme une nouvelle architecture de modèle. Ils l’utilisent comme un mécanisme de guidage construit à partir d’un modèle de diffusion existant. Cette distinction place la contribution au niveau de la méthode d’inférence et de l’analyse des dynamiques.

Les sondes étudient également un réglage traditionnel de l’autoguidage. Dans ce cadre, le modèle fort correspond à un point de contrôle faible. Les auteurs observent que le modèle faible doit provenir d’une région d’entraînement à faible entropie. Cette observation relie la qualité du guidage à la région d’entraînement choisie pour le point de contrôle. Les sondes servent ainsi à examiner le mécanisme associé à l’autoguidage. La publication indique que ce mécanisme reste mal compris. L’étude apporte donc une analyse de la relation entre modèles faible et fort, en plus des résultats de performance. Les auteurs utilisent leurs observations pour éclairer le fonctionnement effectif de cette méthode.

Apple prolonge ses travaux

Les travaux précédents cités par Apple portent aussi sur les modèles de langage par diffusion. Une publication d’octobre 2025 présente FS-DFM, une méthode de génération de textes longs avec peu d’étapes de diffusion. Cette recherche rappelle que les modèles autorégressifs génèrent un jeton par passage avant. Les modèles de langage par diffusion parallélisent la génération entre positions. Les méthodes discrètes standard peuvent toutefois nécessiter des centaines ou des milliers d’évaluations pour atteindre une qualité élevée. Une autre publication d’avril 2025 étudie la mise à l’échelle de ces modèles grâce à l’adaptation depuis des modèles autorégressifs. Probe guidance s’inscrit dans cette série de travaux consacrés à leur amélioration.