NVIDIA et Hugging Face simplifient le fine-tuning sans conversion

NVIDIA et Hugging Face ont collaboré pour intégrer NeMo Automodel, facilitant ainsi un fine-tuning efficace des modèles d’images et de vidéos à grande échelle. Cette innovation permet de traiter les modèles directement sur le Hub de Hugging Face sans avoir besoin de conversion de formats, ce qui simplifie grandement le processus pour les développeurs et chercheurs.

Historiquement, le fine-tuning des modèles de diffusion nécessitait souvent des changements de format et des réécritures complexes. Avec l’intégration de NeMo Automodel, cela devient obsolète, car le système s’adapte directement aux modèles Diffusers avec une simple configuration.

Techniquement, NeMo Automodel introduit des options avancées de parallélisme, comme FSDP2, qui améliorent significativement la performance des modèles sur des infrastructures multi-nœuds. Des modèles renommés tels que FLUX.1-dev bénéficient désormais d’une optimisation pour des performances accrues grâce aux capacités de sharding et de mise en cache.

Selon les sources, cette approche rend l’adoption des nouveaux modèles de diffusion plus fluide, nécessitant seulement de petites adaptations de code. Cela bénéficie à la communauté en permettant un cycle de développement raccourci et une utilisation plus efficiente des ressources technologiques disponibles, le tout sous licence open source.