Microsoft entraîne Qwen3.5-9B avec son harnais existant

Microsoft Research Asia présente Agent Lightning v1.0, un cadre de renforcement pour agents publié le 9 octobre 2026. Le projet adopte le paradigme Harnessed Agentic RL, dans lequel le harnais utilisé en production participe directement à l’entraînement. Les développeurs n’ont donc pas besoin de réimplémenter la boucle de l’agent dans le cadre de formation. Agent Lightning v1.0 tient dans environ 3 500 lignes de code. Le système conserve le harnais existant et intercepte ses appels au modèle via un proxy compatible avec les interfaces de modèles de langage. Microsoft détaille cette approche dans son article de recherche.

Les harnais coordonnent désormais les modèles, les outils et les environnements d’exécution des agents. Les agents de programmation comme mini-SWE-agent, OpenHands, OpenCode, Claude Code et Codex possèdent chacun leur gestion du contexte, leurs protocoles d’outils et leurs dépendances. Les systèmes traditionnels de renforcement supposent que le cadre d’entraînement contrôle la boucle d’interaction. Cette contrainte impose de reconstruire l’agent avant sa formation. Agent Lightning place plutôt un proxy entre le harnais et le modèle. Le harnais continue son fonctionnement habituel, tandis que le système observe les requêtes et les réponses. Microsoft Research Asia formalise ainsi un entraînement avec le même agent que celui déployé.

Agent Lightning organise l’entraînement

Trois composants structurent Agent Lightning v1.0. La passerelle API conserve les séquences d’exécution, les modèles et les événements. Elle fournit aussi un proxy compatible avec les interfaces de modèles de langage. Le contrôleur d’exécution lance les agents comme processus locaux ou tâches Kubernetes standard. L’entraîneur personnalisé, construit avec verl, collecte les séquences terminées puis assemble les échantillons nécessaires. Cette architecture sépare l’exécution de l’agent et l’entraînement du modèle. Elle doit aussi gérer quatre contraintes techniques. La retokenisation peut modifier les frontières des jetons. Les sous-agents peuvent fragmenter une séquence. La normalisation doit éviter de favoriser les séquences les plus longues. Le planificateur gère enfin des charges variables.

Le calcul distribué reçoit également une optimisation nommée Collocated Async RL. Les temps d’exécution varient selon les agents. Le renforcement synchrone attend alors l’agent le plus lent d’un groupe. Le mode entièrement asynchrone améliore l’utilisation, mais nécessite des groupes distincts de processeurs graphiques pour l’exécution et la formation. Collocated Async RL partage les mêmes processeurs graphiques entre ces deux étapes. L’API suspend les nouvelles requêtes lorsque suffisamment de séquences sont collectées. Elle attend la fin des requêtes déjà actives, puis relance les agents après la mise à jour. Les expériences indiquent environ deux fois plus de vitesse de bout en bout que le renforcement synchrone, avec moins de processeurs graphiques qu’un mode asynchrone classique.

Qwen3.5-9B progresse sur SWE-bench

Le déploiement Kubernetes permet d’exécuter plusieurs agents sur des infrastructures autogérées, des services Kubernetes en nuage ou des installations locales. Agent Lightning v1.0 ne dépend pas de services commerciaux de bac à sable. Le contrôleur lance les agents comme des tâches Kubernetes standard. Cette organisation réutilise les ressources existantes pour les séquences d’exécution et conserve le pipeline en code ouvert. Microsoft Research Asia a validé le cadre avec SWE-smith, mini-SWE-agent et Qwen3.5-9B. Le pipeline couvre le nettoyage des données, la construction de l’environnement, les protections contre la manipulation des récompenses et l’entraînement par renforcement. Le jeu d’entraînement contient environ 6 000 échantillons et ne demande pas de calcul à grande échelle.

Les résultats mesurés montrent que Qwen3.5-9B passe de 41,8 % à 56,4 % sur SWE-bench Verified après l’entraînement par renforcement. Le gain absolu atteint 14,6 points de pourcentage. Les expériences comparent aussi deux méthodes de calcul des avantages et de normalisation des pertes. Le calcul au niveau de la séquence, associé à une normalisation au même niveau, produit une récompense de validation supérieure au traitement par échantillon. Cette méthode maintient également une entropie de politique plus stable pendant l’entraînement. Le projet est disponible sur GitHub, avec une architecture conçue pour être comprise, modifiée et étendue.