Black Forest Labs propulse FLUX.3 Klein dans Diffusers

Black Forest Labs publie FLUX.3 Image Klein dans Diffusers le 15 octobre 2026. Le modèle réunit génération d’image à partir de texte, transformation d’image avec plusieurs références et contrôle de mise en page. Le point de contrôle distillé produit une image 1024 × 1024 en environ deux secondes sur un H100. Il fonctionne par défaut en 16 étapes, sans guidage par classification. La collection comprend aussi black-forest-labs/flux-3-image-klein-base, un modèle de base prévu pour 50 étapes avec guidage. Les deux points de contrôle sont accessibles dans la collection FLUX.3 Image Klein.

Une pipeline modulaire permet de charger FLUX.3 avec ModularPipeline après installation des versions récentes de Diffusers et Transformers. Cette intégration utilise l’encodeur de texte Qwen3-VL. Le modèle distillé accepte une description complète précisant le sujet, le décor, la lumière, la composition et le style. Une image de référence peut être fournie avec l’argument image. Plusieurs références sont identifiées dans le prompt par <ref_image_0>, <ref_image_1> et les identifiants suivants. Le dépôt Diffusers de Hugging Face fournit le code d’intégration et les scripts nécessaires pour expérimenter ces usages dès maintenant.

FLUX.3 place les éléments

Le contrôle spatial ajoute une liste JSON de régions à la description. Chaque région possède un identifiant, une boîte englobante et une description. Les coordonnées suivent l’ordre [y_min, x_min, y_max, x_max], sur une échelle normalisée de 0 à 1000. Le même repère fonctionne donc avec différentes tailles d’image. La description mentionne chaque identifiant, afin de placer le contenu dans sa zone. Pour une édition, une région peut aussi indiquer une boîte source dans l’image de référence et une boîte cible dans l’image finale. Le modèle peut ainsi déplacer un élément tout en conservant les autres régions à leur emplacement.

Deux formats quantifiés complètent le modèle de base. Black Forest Labs fournit le transformateur en bf16, fp8r et nvfp4 dans un fichier unique. fp8r vise les architectures dont la capacité de calcul atteint 8.9 ou davantage, notamment Ada, Hopper et Blackwell. nvfp4 cible Blackwell avec flashinfer-python et flashinfer-cubin dans la même version. Les mesures publiées indiquent 13,4 GiB après chargement et 15,3 GiB après inférence pour nvfp4 sur RTX6000. Sur H100, fp8r atteint respectivement 14,35 et 16,27 GiB, contre 18,80 et 20,72 GiB en bf16.

Les LoRA ciblent deux usages

Les scripts LoRA couvrent la génération depuis du texte et la transformation depuis une image. Le modèle de base sert au réglage fin. L’exemple fourni entraîne un style de cartes de tarot avec le jeu multimodalart/1920-raider-waite-tarot-public-domain. Cette configuration utilise une résolution de 1024, une taille de lot de 1, un rang de 16 et 1500 étapes d’entraînement. Le déclencheur choisi est trtcrd. Pour réduire la mémoire utilisée, Diffusers propose le recalcul des activations, la mise en cache des latents et l’optimiseur 8 bits. Les adaptateurs de l’exemple sont publiés sous diffusers-modular/flux3-tarot-lora.