EXL place l’architecture au cœur de l’IA à grande échelle

EXL propose de déplacer l’attention des entreprises, du choix du modèle vers l’architecture qui l’entoure. Cette approche concerne le « serving harness », un système d’ingénierie réunissant architecture, gestion de la mémoire, planification et optimisation. Selon EXL, cette couche détermine si une capacité d’IA peut être fournie de manière fiable, économique et à grande échelle. Le texte publié le 22 octobre 2026 décrit ainsi un changement de priorité pour les responsables techniques. Les progrès des modèles restent importants, mais leur capacité ne suffit pas à garantir une utilisation en production. L’enjeu devient la livraison régulière de cette intelligence dans les conditions opérationnelles de l’entreprise. Lire l’analyse originale.

La charge impose les choix d’architecture, selon EXL. Un assistant destiné aux clients doit répondre rapidement, tandis qu’un traitement documentaire peut fonctionner pendant la nuit. Une application de connaissance interne et une plateforme de service client à fort volume peuvent utiliser le même modèle de base, tout en nécessitant des systèmes de service différents. En production, les contraintes incluent la latence, la concurrence, la pression sur la mémoire, l’utilisation des processeurs graphiques, le coût d’infrastructure et les variations imprévisibles du trafic. EXL souligne qu’un modèle produisant des réponses légèrement meilleures peut devenir un choix moins pertinent s’il double le coût d’inférence ou ne respecte pas la latence attendue.

EXL relie mémoire et concurrence

Les dépendances techniques s’enchaînent dans le système de service. L’architecture influence l’utilisation de la mémoire. La gestion de la mémoire agit sur la concurrence. La concurrence modifie la constitution des lots et la planification. Ces paramètres affectent ensuite l’utilisation des processeurs graphiques et la latence. EXL cite la mémoire GPU comme contrainte possible pendant l’inférence. Les poids du modèle restent fixes, mais le cache clé-valeur augmente avec les requêtes actives et la longueur du contexte. Une hausse de la concurrence peut donc réduire la mémoire GPU utilisable, même lorsque la capacité de calcul reste disponible. Ajouter du calcul sans identifier ce goulot d’étranglement peut accroître les dépenses sans résoudre le problème.

La méthode recommandée par EXL consiste à mesurer avant d’optimiser, puis à identifier la contrainte dominante. L’organisation doit traiter cette contrainte, mesurer le résultat et vérifier si un autre blocage apparaît. Le texte cite notamment la quantification, le décodage spéculatif et les mécanismes d’attention optimisés. Ces techniques doivent répondre à une limitation précise, plutôt que s’accumuler comme des options indépendantes. Cette logique transforme aussi la gouvernance. La question devient celle des contraintes séparant une capacité éprouvée d’une valeur économique durable. EXL présente cette démarche dans sa série Engineering the Harness, consacrée au service, à la mémoire et à l’inférence.

L’architecture absorbe les évolutions

L’adaptabilité devient un objectif central, car les modèles de référence, les matériels et les techniques d’optimisation vont évoluer. EXL recommande donc une architecture construite autour des exigences de charge, d’objectifs de niveau de service et d’une économie mesurable en production. Dans ce cadre, l’évaluation d’un nouveau modèle ou d’une nouvelle infrastructure peut devenir une décision de configuration. Elle n’impose pas nécessairement une reconstruction complète de la plateforme d’IA. EXL estime enfin que les entreprises ont de plus en plus accès à des modèles similaires. Leur différenciation dépendrait alors de leur capacité à convertir cette intelligence en résultats fiables, économiques et déployables à grande échelle.