# DiScoFormer d’Ai2 estime densité et score en un passage > Ai2 présente DiScoFormer, un transformeur qui estime densité et score en un seul passage, avec une erreur réduite en haute dimension. Type : Actualité IA · Catégorie : Outils · Publié le 2026-09-17 · Signal IA - Order & Chaos Source : https://www.orderchaos.eu/signal-ia/actu/ai2-devoile-discoformer-qui-estime-densite-et-score Tags : ia, transformeurs, modélisation, statistiques, recherche, inference --- ## En résumé - Ai2 présente DiScoFormer pour estimer simultanément densité et score. - Le modèle réduit fortement les erreurs de KDE en 100 dimensions. - DiScoFormer s’adapte à des distributions inédites sans données annotées. **Le signal :** En 100 dimensions, DiScoFormer réduit environ 6,5 fois l’erreur de score et plus de 37 fois l’erreur de densité face à KDE. **Ai2 présente DiScoFormer.** Le Allen Institute for AI introduit DiScoFormer, un transformeur conçu pour estimer la densité et le score d’une distribution. Le modèle reçoit un ensemble de points et produit ces deux estimations en un seul passage, sans nouvel entraînement pour chaque distribution. La densité indique les zones où les données se concentrent. Le score, gradient du logarithme de la densité, indique la direction vers les régions plus probables. Ai2 décrit ces quantités comme utiles aux [modèles génératifs](/signal-ia/actu/discoformer-estime-densite-et-score-sans-reentrainement) fondés sur la diffusion, à l’échantillonnage bayésien et aux simulations de particules. Le projet est présenté dans un [article technique](https://allenai.org/blog/discoformer), publié le 29 juin 2026. **Deux approches s’opposent.** L’estimation par noyaux, ou KDE, calcule la densité à partir des points voisins. Elle ne nécessite pas d’entraînement et s’applique à toute distribution. Toutefois, sa précision diminue fortement lorsque la dimension augmente. Les modèles neuronaux entraînés par correspondance de score restent précis en haute dimension. Ils doivent cependant apprendre chaque distribution séparément. Ai2 propose DiScoFormer pour réunir ces deux fonctions dans un même modèle. Son architecture utilise une attention croisée afin d’évaluer densité et score à n’importe quel point. Elle ne se limite donc pas aux positions présentes dans l’échantillon. ## DiScoFormer relie densité et score **Un socle partagé.** DiScoFormer associe un corps de transformeur à deux têtes de sortie. La première prédit la densité. La seconde prédit le score. Cette structure exploite la relation mathématique entre le score et le logarithme de la densité. Le score doit correspondre au gradient de cette quantité pour chaque requête. Ai2 utilise donc l’écart entre les deux sorties comme perte de cohérence, sans étiquette supplémentaire. À l’inférence, le modèle conserve le contexte et effectue quelques étapes de gradient sur cette cohérence. Il peut ainsi s’adapter à une entrée hors distribution sans disposer de densité ou de score de référence. **KDE reste intégrée.** Ai2 montre qu’une tête d’attention possède des poids proches d’un noyau gaussien appliqué aux données. Un bloc d’attention croisée peut ainsi reproduire la densité et le score de KDE. DiScoFormer apprend ensuite plusieurs échelles et les adapte aux données. L’approche inclut donc KDE comme cas particulier, au lieu de remplacer entièrement cette méthode par une boîte noire. Pour l’entraînement, Ai2 génère un nouveau modèle de mélange gaussien à chaque lot. Ces modèles peuvent approximer toute distribution régulière avec suffisamment de composantes. Leurs densités et leurs scores disposent aussi de formes exactes pour superviser le transformeur. ## DiScoFormer dépasse KDE en 100 dimensions **Les écarts se creusent.** Dans les évaluations rapportées par Ai2, DiScoFormer dépasse KDE pour l’estimation de la densité et du score. En 100 dimensions, le modèle réduit environ 6,5 fois l’erreur de score face au meilleur KDE réglé manuellement. Il réduit aussi l’erreur de densité de plus de 37 fois. DiScoFormer continue de progresser lorsque le nombre d’échantillons augmente. KDE atteint alors une limite de mémoire. Le modèle reste également précis sur des mélanges comportant davantage de modes que ceux vus pendant l’entraînement. Il fonctionne encore sur des formes non gaussiennes, notamment les distributions de Laplace et de Student-t. **Un coût à arbitrer.** KDE conserve toutefois un avantage de vitesse lorsque les jeux de données sont petits. Ai2 présente DiScoFormer comme un estimateur préentraîné et réutilisable pour les domaines qui emploient le score. Le modèle pourrait ainsi servir à la modélisation générative, à l’inférence bayésienne et au calcul scientifique, selon l’équipe. Cette formulation décrit une possibilité, et non un résultat de [déploiement](/signal-ia/actu/de-mit-a-ibm-trois-chercheurs-accelerent-lia-et-le-quantique). Le rapport technique détaillé est disponible au format [PDF sur arXiv](https://arxiv.org/pdf/2511.05924). Ai2 invite aussi les lecteurs à consulter sa présentation complète de [DiScoFormer](https://allenai.org/blog/discoformer), consacrée à l’estimation conjointe de la densité et du score.