Meta repense RoCE pour accélérer les réseaux IA

Meta présente MetaRoCE comme un protocole de transport RDMA conçu pour les charges de travail d’intelligence artificielle sur Ethernet standard. L’annonce intervient cette semaine, alors que les opérations collectives synchronisent des milliers d’accélérateurs pendant l’entraînement. Les opérations all-reduce et all-to-all avancent au rythme du transfert le plus lent. Meta indique donc que les frictions réseau peuvent immobiliser une capacité de calcul importante. Le protocole adopte une conception entièrement nouvelle par rapport à RoCE standard. Meta prévoit de publier la spécification, une implémentation logicielle de référence et une suite de conformité via l’Open Compute Project. Les artefacts pourraient être proposés en octobre 2026, au sommet mondial de l’OCP.

Le réseau devient critique dans les grappes de Meta, qui atteignent des centaines de milliers de GPU répartis entre plusieurs centres de données et régions. RoCE standard suppose une livraison des trames dans l’ordre. Il s’appuie aussi sur PFC, ou contrôle de flux prioritaire, et décourage la dispersion des paquets entre plusieurs chemins. MetaRoCE inverse cette organisation. Le réseau est considéré comme sujet aux pertes, tandis que la carte réseau gère l’ordre, la sélection des chemins et la récupération. Chaque chemin possède ses propres mesures de RTT, d’état ECN et d’utilisation. Cette architecture reprend les travaux de Meta sur RoCE à grande échelle publiés en 2024.

Meta déplace l’intelligence réseau

Les paquets arrivent librement dans le désordre et sont dispersés sur plusieurs chemins. Chaque paquet porte sa destination, afin que les données soient écrites directement dans leur emplacement mémoire final. MetaRoCE évite ainsi un tampon de réordonnancement et le blocage en tête de ligne. Les transmissions associent aussi chaque envoi à un tampon de réception préparé. Un message peut donc atteindre son emplacement même si des messages précédents ne sont pas encore arrivés. Le protocole utilise un port source UDP distinct pour chaque chemin. La carte réseau peut modifier ce port afin de déplacer le trafic d’une route dégradée vers une autre.

La perte déclenche une récupération ciblée plutôt qu’un mécanisme de réseau sans perte. MetaRoCE n’utilise ni PFC ni trames de pause. Chaque chemin conserve une fenêtre et une estimation de son aller-retour. Dans le vecteur d’accusé de réception sélectif de 256 bits, un trou signale une perte. Le protocole retransmet alors uniquement le paquet manquant, sur le chemin concerné. Le contrôle de congestion combine un mécanisme AIMD fondé sur ECN côté émetteur et des indications de débit équitable côté récepteur. À chaque accusé de réception, le récepteur indique la part de bande passante attribuée. Meta indique que l’incast converge en un ou deux allers-retours.

Meta mesure la résilience

Les premiers tests utilisent AMD Pensando sur un cluster de 64 nœuds équipé de GPU AMD. Meta a comparé MetaRoCE à RoCEv2 avec des opérations RCCL, notamment all-reduce et all-to-all. Meta rapporte un débit supérieur et des temps d’achèvement plus courts pour les flux. Le résultat de résilience constitue le principal indicateur publié. MetaRoCE maintient environ 86 % de son débit avec 1 % de perte de paquets. Le protocole continue aussi de fournir une bande passante utile avec 10 % de pertes. Des essais sur des topologies à quatre et huit plans, avec jusqu’à 4 000 connexions simultanées, ont confirmé une progression linéaire du débit avec le nombre de plans.

Les défaillances de plans ont également été simulées pendant la validation multiplaine. Meta indique que le trafic s’est redistribué sans intervention de l’application ou de l’opérateur. La conception demande seulement deux fonctions déjà présentes dans les commutateurs concernés, ECN et ECMP. Elle n’exige ni découpage des paquets, ni télémétrie embarquée dans le réseau, ni contrôle de flux fondé sur des crédits, ni dispersion gérée par les commutateurs. Meta présente donc MetaRoCE comme compatible avec des réseaux de fournisseurs dont la configuration n’est pas contrôlée. Le protocole réduit aussi l’explosion de l’état de connexion en séparant flux ordonnés et chemins multiples sous un contrôleur commun.

L’ouverture reste planifiée plutôt qu’immédiatement déployable. Meta prévoit trois éléments via l’OCP : la spécification complète, une suite de conformité et libsoftmetaroce, modèle comportemental destiné au développement de composants silicium. Le support matériel reste précoce. Meta l’a démontré sur des cartes réseau programmables AMD Pensando, tandis que d’autres fournisseurs développent des implémentations. La décision concerne donc aujourd’hui l’architecture du réseau, et non un achat matériel immédiat. Les prochaines étapes annoncées pourraient intervenir au sommet mondial de l’OCP en octobre 2026. La présentation technique de Meta est disponible dans cet article d’ingénierie. Les travaux précédents sur RoCE à grande échelle et la publication initiale complètent le dossier.