Replicate accélère jusqu’à 3 fois le démarrage des modèles PyTorch

Replicate annonce le cache des artefacts torch.compile pour les modèles utilisant PyTorch, dans un article publié le 8 septembre 2025. Cette méthode réduit les temps de démarrage des conteneurs de modèles. Replicate indique que black-forest-labs/flux-kontext-dev, prunaai/flux-schnell et prunaai/flux.1-dev-lora démarrent désormais deux à trois fois plus vite. Le cache conserve les artefacts compilés entre plusieurs cycles de vie des conteneurs. Cette évolution cible le délai avant la première prédiction réussie. Elle concerne donc directement les services d’inférence qui relancent régulièrement leurs conteneurs. Replicate détaille cette approche dans son article technique.

La compilation intervient au premier appel d’une fonction compilée. PyTorch trace alors le code et le compile, ce qui ajoute un délai initial. Les appels suivants réutilisent le code optimisé et s’exécutent nettement plus rapidement. Replicate indique que plusieurs modèles, notamment ceux de la famille FLUX, utilisent des techniques torch.compile pour accélérer l’inférence. Dans ses tests sur black-forest-labs/flux-kontext-dev, la version compilée s’exécute plus de 30 % plus vite que la version non compilée. Le cache traite donc séparément deux mesures : la vitesse d’exécution après compilation et le temps nécessaire pour obtenir cette compilation.

Replicate réduit les démarrages à froid

Les mesures publiées montrent des baisses importantes sur trois modèles. black-forest-labs/flux-kontext-dev passe d’environ 120 secondes à 60 secondes, soit 50 % plus rapide. prunaai/flux-schnell passe d’environ 150 secondes à 70 secondes, soit 53 % plus rapide. prunaai/flux.1-dev-lora passe d’environ 400 secondes à 150 secondes, soit 62 % plus rapide. Ces chiffres concernent les démarrages à froid observés par Replicate. L’entreprise indique aussi que le cache améliore le délai entre le lancement du conteneur et la première prédiction réussie pour tous les modèles utilisant torch.compile. Les résultats varient donc selon le modèle concerné.

Le mécanisme repose sur une logique comparable à celle des caches de systèmes d’intégration et de livraison continues. Au démarrage d’un conteneur, le système recherche les artefacts compilés correspondants. Lorsqu’ils existent, Torch les réutilise au lieu de recompiler le code depuis zéro. Lorsqu’un conteneur s’arrête correctement, le système met le cache à jour si nécessaire. Les fichiers sont indexés par version du modèle. Ils sont également stockés à proximité des nœuds équipés de processeurs graphiques. Cette organisation relie chaque artefact à une version précise et limite la distance entre le cache et les ressources d’inférence.

PyTorch documente torch.compile

Le guide de Replicate présente davantage de détails sur l’amélioration des performances avec torch.compile. La documentation officielle de PyTorch propose également un tutoriel consacré à torch.compile. Les trois modèles cités utilisent déjà ce mécanisme dans les tests publiés. Replicate associe leur compilation à un cache persistant entre les cycles de vie des conteneurs. Les résultats annoncés vont d’une réduction d’environ 50 % à une réduction d’environ 62 % du démarrage à froid. Pour black-forest-labs/flux-kontext-dev, Replicate mesure aussi un gain supérieur à 30 % sur la vitesse d’inférence compilée. Ces mesures distinguent clairement démarrage et exécution.