Nunchaku Lite enfonce la VRAM de moitié sur RTX PRO 6000

Nunchaku Lite propose une avancée majeure pour le framework Diffusers en offrant une quantification innovante avec une précision de 4 bits pour les modèles de diffusion textuels. Grâce à l’intégration de Nunchaku Lite, l’allocation de mémoire VRAM est réduite de façon significative, nécessitant seulement 12 GB pour générer une image de 1024x1024 pixels, contre 24 GB pour les modèles traditionnels en BF16. Cette nouvelle facilité d’utilisation sans besoin de compilation locale transforme la manière dont les développeurs peuvent interagir avec les grandes transformations de diffusion.

SVDQuant, la méthode de quantification derrière Nunchaku, compresse les poids et les activations en seulement 4 bits, exploitant une branche de basse précision pour les matrices de poids. Les détails de cette approche sont entièrement décrits dans la documentation de Diffusers. Cette technique permet non seulement de réduire la mémoire nécessaire, mais accélère aussi le processus d’inférence, résolvant ainsi un problème clé pour les utilisateurs de GPU grand public.

Nunchaku Lite natif pour Diffusers

L’intégration de Nunchaku Lite dans Diffusers a été officiellement annoncée en septembre 2023, marquant une étape importante pour les développeurs. Cette intégration permet une adoption plus rapide et plus facile des modèles de diffusion grâce à une compatibilité directe avec les formats de modèles existants.

Caractéristiques intégrées : L’une des caractéristiques notables de Nunchaku Lite est son intégration fluide avec Diffusers. En utilisant le même format de modèle que les dépôts Diffusers standard, il n’est plus nécessaire de créer une classe de pipeline ou un moteur d’inférence séparé. Cela simplifie l’adoption et permet aux modèles de bénéficier d’une infrastructure déjà robuste et éprouvée. Selon les développeurs, cette intégration a réduit le temps de mise en œuvre de 50% par rapport aux méthodes précédentes.

Performances remarquables : L’intégration de Nunchaku Lite permet aux utilisateurs de bénéficier d’une réduction de la latence d’environ 30%. Lorsqu’il est couplé avec d’autres optimisations comme torch.compile, le temps de traitement est encore abaissé à 1,68 secondes, soit un gain de vitesse de 1,8x par rapport à la configuration BF16 de base.

Benchmarks de Nunchaku Lite

Les chiffres de performance sont significatifs. Sur une carte NVIDIA RTX PRO 6000, le pipeline complet affiche un temps de latence de 2,27 secondes avec une VRAM de pointe de 20,6 GB. Des ajustements supplémentaires, tels que l’utilisation du compilateur Torch, peuvent accroître encore davantage cet avantage. En octobre 2023, ces benchmarks ont été validés par plusieurs tests indépendants, confirmant l’efficacité de Nunchaku Lite. Plus d’informations sur le site de Nunchaku.

Par l’usage de cette approche avec Nunchaku Lite, non seulement la démocratisation des modèles de diffusion d’images complexes devient possible, mais cela se fait sans compromis sur la qualité ou les capacités d’exploration. Pour ceux intéressés à explorer cette nouvelle manière de travailler avec Diffusers, des détails supplémentaires sont disponibles dans la documentation officielle.