Replicate accélère jusqu’à trois fois les démarrages PyTorch

Replicate accélère les démarrages de modèles PyTorch en mettant désormais en cache les artefacts produits par torch.compile. L’annonce a été publiée le 8 septembre 2025 par Nevillelyh et Gandalfhz. Trois modèles bénéficient déjà de cette approche : black-forest-labs/flux-kontext-dev, prunaai/flux-schnell et prunaai/flux.1-dev-lora. Replicate indique que ces modèles démarrent deux à trois fois plus vite. Le mécanisme cible particulièrement les modèles de la famille FLUX, qui utilisent différentes techniques de torch.compile pour améliorer leur vitesse d’inférence. Le cache conserve les artefacts compilés entre plusieurs cycles de vie des conteneurs. Cette conservation évite de recommencer entièrement la compilation lors de chaque démarrage.

La première exécution d’une fonction compilée ajoute un coût spécifique. Elle trace alors le code, puis le compile avant de lancer l’exécution optimisée. Les appels suivants réutilisent ce code et s’exécutent nettement plus rapidement. Dans les tests menés avec black-forest-labs/flux-kontext-dev, la version compilée fonctionne plus de 30 % plus vite que la version non compilée. Replicate relie donc deux effets distincts à torch.compile : une inférence accélérée après compilation et un démarrage initial alourdi par cette étape. Le cache vise précisément ce second coût. Il permet à Torch de réutiliser les artefacts déjà produits lorsqu’un conteneur redémarre.

Replicate réduit les démarrages à froid

Les mesures publiées montrent des écarts importants entre les démarrages sans cache et ceux bénéficiant des artefacts conservés. Pour black-forest-labs/flux-kontext-dev, le temps passe d’environ 120 secondes à environ 60 secondes, soit une réduction de 50 %. Pour prunaai/flux-schnell, il passe d’environ 150 secondes à environ 70 secondes, soit 53 % plus rapide. Enfin, prunaai/flux.1-dev-lora passe d’environ 400 secondes à environ 150 secondes, soit une réduction de 62 %. Ces mesures portent sur les démarrages à froid. Replicate indique aussi que le cache améliore le délai entre le lancement du conteneur et la réussite de la première prédiction.

Le fonctionnement ressemble à celui de nombreux caches utilisés dans les systèmes d’intégration et de livraison continues. Lorsqu’un conteneur de modèle démarre, le système recherche d’abord des artefacts compilés. S’il en trouve, Torch les réutilise au lieu de compiler le code depuis zéro. Lorsqu’un conteneur s’arrête correctement, le système met à jour le cache si nécessaire. Les fichiers sont indexés selon la version du modèle. Ils sont ensuite stockés à proximité des nœuds équipés de processeurs graphiques. Replicate précise que cette organisation permet de conserver les artefacts entre les cycles de vie des conteneurs concernés.

Torch compile structure la réutilisation

Le guide technique de Replicate explique comment améliorer les performances des modèles avec torch.compile. L’entreprise renvoie également vers sa documentation et vers le tutoriel officiel de PyTorch consacré à torch.compile. Ce tutoriel détaille le mécanisme de compilation utilisé par PyTorch. Les résultats annoncés concernent les modèles qui utilisent effectivement torch.compile. Ils ne constituent donc pas une mesure générale pour tous les modèles PyTorch. Les trois exemples publiés appartiennent à l’écosystème FLUX : black-forest-labs/flux-kontext-dev, prunaai/flux-schnell et prunaai/flux.1-dev-lora. Replicate annonce aussi un prochain contenu consacré à son serveur MCP distant dans la même publication.