Hugging Face et SkyPilot : stockage IA sans frais de sortie

Hugging Face et SkyPilot ont conjointement développé un système de stockage sans frais de sortie pour les charges de travail en IA. Cette solution permet de stocker des modèles et des ensembles de données sur Hugging Face Storage, tout en effectuant le calcul grâce à SkyPilot sur plus de 20 plateformes cloud, y compris Kubernetes et des solutions sur site. En utilisant une URL de type hf:// et un HF_TOKEN, les utilisateurs peuvent monter un Hugging Face Bucket dans une tâche SkyPilot.

Le dispositif permet une lecture de données sans frais de sortie. Traditionnellement, les coûts liés au transfert de données entre cloud pour le calcul augmentent. Hugging Face, en supprimant ces frais pour le stockage, permet aux utilisateurs d’accéder à leurs données sans multiplier les copies ou subir des frais supplémentaires. Le stockage est basé sur Xet, optimisant le transfert uniquement pour les changements récents.

Les acteurs impliqués incluent Hugging Face et SkyPilot. Récemment, des solutions comme hf-mount FUSE ont été améliorées pour fonctionner dans des conteneurs sans privilèges. Hugging Face Storage est intégré en tant que backend de première classe pour SkyPilot. Les modes MOUNT et COPY assurent une compatibilité élargie, que l’on travaille sur AWS, GCP, Azure, ou tout autre fournisseur.

L’impact de cette solution exclut les coûts de sortie lors de la lecture des données, facilitant l’utilisation de capacités GPU sur divers clouds. Les équipes peuvent ainsi optimiser leur usage de réservations CPU/GPU sans la contrainte de duplication de données. Le tarif du stockage est compétitif, de 12 à 18 $/TB par mois, par rapport aux offres classiques comme AWS S3.

Les perspectives du marché incluent une flexibilité accrue pour les opérateurs cloud. Cette intégration élimine les barrières de données entre clouds, où l’usage multiple des ressources était limité par des coûts de transfert. La contribution de Hugging Face et SkyPilot pourrait standardiser une approche sans frais de sortie pour les données d’IA, réduisant ainsi les charges pour les développeurs et les entreprises.