DiScoFormer d’Ai2 réduit jusqu’à 37 fois l’erreur de densité

Ai2 présente DiScoFormer, un transformateur conçu pour estimer la densité et le score d’une distribution. Le modèle reçoit un ensemble de points et produit ces deux informations en un seul passage. La densité indique les zones où les observations se concentrent. Le score correspond au gradient du logarithme de cette densité. Il indique la direction vers une région plus probable. Ai2 décrit cette méthode dans une publication datée du 29 juin 2026. Le modèle vise plusieurs usages, dont les modèles génératifs, l’inférence bayésienne et le calcul scientifique. Le billet d’Ai2 présente son fonctionnement et ses résultats expérimentaux.

Deux sorties partagées DiScoFormer utilise des blocs de transformateur et un mécanisme d’attention croisée. Cette architecture évalue la densité et le score à n’importe quel point, y compris hors des observations disponibles. Un socle commun alimente deux têtes de sortie distinctes. La première prédit la densité. La seconde prédit le score. Leur relation mathématique impose une contrainte supplémentaire. Le score doit correspondre au gradient du logarithme de la densité. Ai2 exploite cet écart comme une perte de cohérence sans étiquette. Pendant l’inférence, quelques étapes de gradient permettent aussi au modèle de s’adapter à une entrée hors distribution, sans densité ni score de référence.

DiScoFormer dépasse KDE en dimension élevée

KDE sert de référence L’estimation par noyau, ou KDE, calcule la densité à partir des points voisins. Elle ne nécessite aucun entraînement et fonctionne pour toute distribution. Son exactitude diminue cependant fortement lorsque la dimension augmente. Les modèles neuronaux de score restent plus précis dans ces espaces, mais chaque modèle doit apprendre une distribution particulière. Il faut ensuite le réentraîner pour une autre distribution. DiScoFormer vise cette contrainte avec un modèle unique. Ai2 montre aussi que l’attention généralise le fonctionnement de KDE. Un poids d’attention peut se rapprocher d’un noyau gaussien appliqué aux données.

Des mélanges gaussiens Ai2 entraîne DiScoFormer avec des modèles de mélanges gaussiens, ou GMM. Ces modèles peuvent approximer toute distribution lisse avec suffisamment de composantes. Ils fournissent également des expressions exactes pour la densité et le score. L’équipe génère un nouveau GMM à chaque lot d’entraînement. Le transformateur reçoit ainsi de nombreux exemples de distributions cibles. Chaque exemple possède une supervision exacte pour les deux sorties. Cette procédure exploite les propriétés analytiques des GMM. Elle permet aussi de comparer directement les prédictions aux valeurs attendues. Le rapport technique détaille cette méthode dans sa version publiée sur arXiv.

Ai2 mesure les erreurs en 100 dimensions

Les écarts augmentent Selon Ai2, DiScoFormer dépasse KDE pour l’estimation de la densité et du score. En 100 dimensions, le modèle réduit l’erreur de score d’environ 6,5 fois face au meilleur KDE réglé manuellement. Il réduit aussi l’erreur de densité de plus de 37 fois. DiScoFormer continue de progresser lorsque le nombre d’échantillons augmente. KDE finit alors par manquer de mémoire. Le modèle reste également précis sur des mélanges comportant davantage de modes que ceux observés pendant l’entraînement. Il conserve cette précision sur des formes non gaussiennes, notamment les distributions de Laplace et de Student-t.

La vitesse reste décisive KDE conserve un avantage lorsque les jeux de données sont petits. Ai2 présente donc DiScoFormer comme un estimateur réutilisable, plutôt que comme un remplacement universel dans chaque situation. Le score intervient déjà dans plusieurs familles de méthodes. Les modèles génératifs de diffusion suivent ce score pour transformer du bruit en image. L’inférence bayésienne et les simulations scientifiques l’utilisent également. Ai2 estime qu’un estimateur préentraîné, précis en haute dimension et utilisable sans réentraînement par problème, pourrait réduire le coût de ces calculs. L’équipe invite à consulter le rapport technique pour les détails.