# Berkeley explore l’inférence qui s’organise elle-même > L’université de Berkeley analyse le raisonnement parallèle adaptatif, qui laisse les modèles choisir quand paralléliser et combien de fils lancer. Type : Actualité IA · Catégorie : Tendances · Publié le 2026-10-06 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/berkeley-devoile-lapr-une-inference-qui-sadapte Tags : raisonnement, inférence, parallélisme, modèles de langage, inference --- ## En résumé - L’APR permet aux modèles de répartir dynamiquement le calcul entre opérations parallèles et séquentielles. - Les approches existantes utilisent notamment le vote majoritaire, les arbres de recherche et les fils indépendants. - Les systèmes d’inférence doivent résoudre la gestion des caches KV lors de la fusion des branches. **Le signal :** L’APR permet à un modèle de choisir entre raisonnement séquentiel et parallèle selon la complexité de chaque problème. **Berkeley analyse** le [raisonnement](/signal-ia/actu/apr-de-pan-lia-redefinit-le-raisonnement-parallele) parallèle adaptatif, ou APR, comme un paradigme d’inférence capable de choisir sa propre organisation. Le modèle peut décider quand décomposer un problème, combien de fils lancer et comment les coordonner. Cette approche s’inscrit dans la progression du raisonnement à l’inférence, en complément de l’augmentation des données et du nombre de paramètres. Les modèles produisent désormais des jetons de raisonnement pour explorer des hypothèses, revenir sur des erreurs et construire une réponse. L’analyse publiée par Berkeley présente les avancées récentes du domaine, tout en assumant une dimension de synthèse et de prise de position. [Lire l’analyse complète](http://bair.berkeley.edu/blog/2026/05/08/adaptive-parallel-reasoning/) **Le raisonnement séquentiel** augmente le coût avec la longueur de l’exploration. Les chemins intermédiaires peuvent dépasser les limites effectives du contexte et provoquer une dégradation appelée « context-rot ». La latence augmente aussi avec la longueur du raisonnement. Pour certaines tâches complexes, l’exploration et la planification peuvent atteindre des millions de jetons. Des utilisateurs peuvent alors attendre plusieurs dizaines de minutes, voire plusieurs heures, selon l’analyse. Le raisonnement parallèle propose une autre organisation. Plusieurs fils explorent des pistes indépendantes et s’exécutent simultanément, sans accumuler le contexte de chaque piste à chaque étape. Cette logique rapproche l’inférence d’un fonctionnement de type fork-and-join. ## Les modèles choisissent leur parallélisme **Les méthodes existantes** imposent souvent la structure parallèle en dehors du modèle. La self-consistency échantillonne plusieurs raisonnements complets, puis retient la réponse majoritaire. La méthode Best-of-N utilise plutôt un vérificateur entraîné pour sélectionner la meilleure solution. Les arbres, graphes et squelettes de pensées décomposent les tâches avec des algorithmes de recherche connus, comme BFS ou DFS. Monte-Carlo Tree Search estime la valeur des nœuds avec des déroulements aléatoires et une exploration de type UCB. Ces méthodes peuvent améliorer la recherche, mais elles nécessitent une stratégie de décomposition connue avant l’inférence. **Les méthodes récentes** explorent déjà des formes plus coordonnées. ParaThinker entraîne un modèle en deux étapes, avec plusieurs fils parallèles puis une synthèse. GroupThink permet aux fils de voir leurs progrès partiels pendant la génération. Hogwild! Inference partage un cache KV et laisse les fils décider de leur décomposition sans protocole explicite. Le paradigme APR va plus loin en intégrant la [parallélisation](/signal-ia/actu/tony-lian-permet-aux-modeles-de-raisonner-en-parallele) au flux de contrôle généré par le modèle. Pendant l’apprentissage par renforcement, le modèle peut apprendre des stratégies générales par essais et erreurs. Il peut notamment vérifier une étape précédente en parallèle ou conserver une approche de secours. ## Les systèmes assemblent les branches **L’exécution parallèle** suit généralement une logique map-reduce. Le modèle produit une liste de sous-tâches, puis chaque sous-tâche est préremplie et envoyée comme requête indépendante au moteur d’inférence. Les fils décodent simultanément jusqu’à atteindre un jeton de fin ou une longueur maximale. Le système attend ensuite leur terminaison avant d’agréger les résultats. Cette organisation soulève une difficulté technique lors de la fusion. Les branches indépendantes commencent avec des identifiants de position identiques. Leurs caches KV ne peuvent donc pas être concaténés directement sans créer un schéma d’attention non causal, absent de l’entraînement initial du modèle. **Multiverse modifie** le moteur d’inférence pour réutiliser le cache KV pendant la fusion. Avec RadixAttention de SGLang, les requêtes partageant un préfixe peuvent organiser leurs entrées dans un arbre de préfixes. Le système évite ainsi de recalculer le cache du préfixe pour chaque fil. Multiverse, Parallel-R1 et NPR copient ensuite les caches produits par les branches et adaptent la table de pages. Cette opération assemble des blocs mémoire non contigus dans une séquence unique. Elle évite un second préremplissage et réutilise davantage le cache existant. Elle exige toutefois une gestion mémoire non standard du moteur d’inférence. **L’APR ajuste** le niveau de parallélisation à la difficulté du problème et au coût de cette organisation. Une question simple comme « 25+42 » ne demande pas nécessairement la même structure qu’un problème géométrique complexe. Les approches adaptatives peuvent donc choisir de ne pas paralléliser, contrairement aux méthodes qui appliquent une structure fixe. Cette capacité repose en pratique sur des jetons spéciaux contrôlant les phases séquentielles et parallèles. Les travaux recensés incluent notamment [ThreadWeaver](/signal-ia/actu/apr-bouscule-lia-linference-devient-dynamique), co-dirigé par Tony Lian, ainsi que l’étude fondatrice [Learning Adaptive Parallel Reasoning with Language Models](https://doi.org/10.48550/arXiv.2512.07843). L’analyse cite aussi [ThreadWeaver](https://tonylian.com/) parmi les méthodes examinées.