Nunchaku Lite : diffusion IA 50% plus fluide avec Diffusers

Diffusers et Nunchaku 4-bit : Diffusers, un ensemble d’outils utilisés pour la génération d’images par IA, s’associe avec Nunchaku pour intégrer une inférence 4-bit. Cette avancée, appelée Nunchaku Lite, simplifie le chargement des points de contrôle grâce à une simple commande from_pretrained(), sans compilation CUDA locale. Les nouveaux Nunchaku Lite nécessitent environ 12 Go de mémoire sur un GPU RTX 5090. Source

Contexte technologique : Avant l’intégration de Nunchaku Lite, la plupart des modèles textuels à images nécessitaient une précision BF16, demandant ainsi 20 à 30 Go de VRAM. Grâce à la méthode SVDQuant de Nunchaku, la mémoire requise se réduit significativement à seulement 12 Go pour la même qualité de résultat, tout en accélérant le processus de génération d’images. Documentation Nunchaku Lite

Chiffres et acteurs clés : En utilisant le modèle Nunchaku Lite avec l’outil torch.compile, les performances peuvent augmenter jusqu’à 1,8 fois comparé à une configuration traditionnelle BF16. La mémoire VRAM est réduite de moitié, atteignant 16 Go pour des images 1024x1024 en 1,7 secondes.

Implémentations factuelles : L’intégration de Nunchaku Lite permet également une compatibilité avec les optimisations déjà présentes dans Diffusers. Cela inclut l’utilisation de text encoders quantifiés et de fonctions offloading pour une meilleure gestion mémoire sur des GPU plus restreints.

Impact pour les entreprises : Les PME adoptant ces technologies pourraient bénéficier d’une réduction significative des coûts matériels grâce à une utilisation plus efficace des ressources GPU existantes, les rendant plus accessible pour des projets à plus petite échelle.

Compatibilité et concurrence : Les modèles Nunchaku nécessitent des GPU NVIDIA de génération Blackwell, mais pour les versions précédentes, les variantes int4 sont disponibles pour les cartes Turing, Ampère et Ada.

Perspectives futures : Nunchaku Lite représente une étape vers des modèles encore plus optimisés pour les générations futures de GPU. L’article original est disponible pour plus de détails sur leur méthode de quantification et les perspectives d’innovation.