Apple entraîne un agent unique dans plusieurs environnements

Apple publie RISED en octobre 2026 pour entraîner un agent unique dans plusieurs environnements interactifs. La méthode combine sélection de données en ligne et supervision par auto-distillation. Elle s’appuie sur des rubriques décrivant les comportements observés pendant les trajectoires produites par l’agent. Un juge fondé sur un grand modèle de langage attribue ces rubriques à chaque trajectoire. Le vocabulaire utilisé reste partagé entre les environnements. Les profils comportementaux servent ensuite à choisir les données d’entraînement. Apple présente cette approche dans un article consacré à RISED, disponible sur son site de recherche et sur arXiv.

Les récompenses montrent leurs limites dans l’apprentissage par renforcement multi-environnements. Les stratégies existantes sélectionnent souvent les données au niveau de l’environnement. Elles privilégient aussi des signaux locaux fondés sur la récompense. Ces signaux décrivent mal les relations entre les trajectoires issues de plusieurs environnements. Ils n’offrent aucun contraste interne lorsque toutes les trajectoires d’un groupe échouent. La même limite apparaît lorsque toutes réussissent. Des groupes entièrement négatifs et entièrement positifs peuvent coexister dans un même lot. RISED utilise donc des retours textuels plus riches. Ces rubriques décrivent les comportements et complètent les récompenses scalaires utilisées pendant l’entraînement.

RISED sélectionne les trajectoires

Le juge construit des profils en associant chaque trajectoire à une ou plusieurs rubriques prédéfinies. Ces profils guident la sélection des données dans un lot composé de plusieurs environnements. RISED recherche les données correspondant à la composition comportementale globale du lot. La méthode limite aussi le recouvrement avec les données déjà sélectionnées. Cette sélection ne repose donc pas uniquement sur la valeur de récompense obtenue. Elle prend en compte les comportements présents dans les trajectoires. Apple décrit ainsi un mécanisme de sélection sensible aux relations entre environnements. Les rubriques servent également à analyser les changements comportementaux associés aux résultats observés pendant l’évaluation de RISED.

Les rubriques positives supervisent un enseignant utilisé pour l’auto-distillation sur politique. Elles fournissent un contexte privilégié et ajoutent une supervision au niveau des jetons. Les rubriques positives décrivent les comportements recherchés. Les rubriques négatives décrivent les comportements indésirables. Elles orientent les générations suivantes afin de les éloigner des modes d’échec récurrents. RISED réunit donc trois usages des rubriques. Le juge annote les trajectoires. Le mécanisme de sélection choisit des données selon leur profil comportemental. La supervision utilise ensuite les rubriques positives et négatives pour guider l’apprentissage de l’agent dans plusieurs environnements interactifs.

RISED obtient les meilleurs résultats

Les évaluations placent RISED en tête sur le taux moyen de réussite entre environnements. La méthode se classe aussi première ou deuxième dans chaque environnement individuel. Ce résultat est observé avec plusieurs architectures de modèles utilisées comme bases d’évaluation. L’analyse fondée sur les rubriques décrit en plus les changements de comportement associés à ces gains. RISED relie ainsi la sélection des données, la supervision et l’analyse des trajectoires dans un même dispositif. L’article d’Apple présente cette combinaison comme une réponse aux limites des récompenses scalaires. Les rubriques apportent un signal commun pour comparer les comportements produits dans des environnements différents. Pour aller plus loin, consultez notre guide sur déployer un agent IA en PME sans développeur.