Tony Lian laisse les modèles orchestrer leur raisonnement parallèle

Une nouvelle approche Tony Lian et ses coauteurs analysent le raisonnement parallèle adaptatif, ou APR, dans un article publié par Berkeley AI Research le 8 mai 2026. Cette approche permet à un modèle de décider quand décomposer un problème, combien de threads lancer et comment les coordonner. Elle intègre donc le parallélisme au flux de contrôle généré par le modèle. L’APR désigne un paradigme, et non une méthode unique. Le concept vient du travail Learning Adaptive Parallel Reasoning with Language Models de Pan et ses coauteurs, publié en 2025. Tony Lian a également codirigé ThreadWeaver, l’une des méthodes étudiées dans cette analyse. Lire l’analyse de Berkeley AI Research

Le séquentiel atteint ses limites Les progrès récents du raisonnement des grands modèles de langage reposent notamment sur l’augmentation du calcul à l’inférence. Les modèles produisent des étapes intermédiaires, reviennent sur leurs erreurs et explorent plusieurs hypothèses. Cette stratégie domine plusieurs évaluations en mathématiques, en programmation et pour les agents. Mais le raisonnement séquentiel augmente linéairement avec le volume d’exploration. Les séquences longues peuvent dépasser les limites effectives du contexte. L’accumulation de chemins intermédiaires favorise aussi la « context-rot », une dégradation des performances liée aux distracteurs. Pour des tâches complexes, l’exploration peut atteindre des millions de tokens, avec des attentes de plusieurs dizaines de minutes ou plusieurs heures.

L’APR adapte le calcul

Des branches mieux contrôlées Les méthodes existantes imposent généralement la structure parallèle en dehors du modèle. Self-consistency et majority voting échantillonnent plusieurs raisonnements complets, puis retiennent la réponse la plus fréquente. Best-of-N utilise plutôt un vérificateur entraîné pour sélectionner une solution. Les approches Tree, Graph ou Skeleton of Thoughts décomposent les tâches avec des recherches connues, comme BFS ou DFS. Monte-Carlo Tree Search estime la valeur des nœuds grâce à des déroulements aléatoires. Ces méthodes peuvent créer des sous-tâches distinctes, mais elles exigent une stratégie de décomposition préalable. Elles appliquent donc moins facilement une structure différente à chaque problème.

Des méthodes déjà adaptatives ParaThinker entraîne un modèle en deux étapes fixes, avec plusieurs fils parallèles puis une synthèse. GroupThink permet à plusieurs trajectoires de consulter leurs avancées partielles pendant la génération. Hogwild! Inference partage un cache KV et laisse les threads décomposer les tâches sans protocole explicite de coordination. L’APR va plus loin en permettant au modèle de choisir s’il doit paralléliser. Il peut aussi ajuster le nombre de threads et leur coordination. Des travaux rapportent des comportements émergents, comme vérifier une étape précédente en parallèle ou conserver une approche de secours. ThreadWeaver illustre ce principe avec deux plans et deux chemins sous un bloc <Parallel>.

Les moteurs gèrent la fusion

Le modèle fork-join L’exécution de l’APR s’inspire du multithreading et du multiprocessing. Le modèle divise d’abord le problème en sous-tâches ou en threads. Le moteur préremplit chaque sous-tâche, puis exécute les branches simultanément. Chaque thread décode jusqu’à un token de fin ou jusqu’à dépasser la longueur maximale. Le système attend ensuite la fin de toutes les branches avant d’agréger leurs résultats. Cette architecture ressemble à une opération map-reduce. La fusion pose toutefois une difficulté au niveau du cache KV. Les branches indépendantes commencent avec des identifiants de position identiques. Leur concaténation produit aussi un schéma d’attention non causal, absent de l’entraînement initial du modèle.

Deux choix techniques Multiverse modifie le moteur d’inférence pour réutiliser le cache KV lors de la fusion. Parallel-R1 et NPR adoptent également des modifications permettant d’assembler des blocs mémoire non contigus. Cette approche évite un second préremplissage et réutilise davantage le cache généré par les threads. Elle exige cependant une gestion mémoire non standard du moteur. La requête de synthèse peut référencer des caches issus d’autres requêtes. L’article signale alors une fragilité possible, notamment si une autre requête évince le cache référencé. Une autre voie consiste à contourner la modification du moteur, avec des compromis différents pour l’exécution et la synthèse. Voir ThreadWeaver et l’article de Pan et ses coauteurs