The Gradient voit l’ingénierie devancer les maths en IA

Le constat central The Gradient observe un déplacement dans la recherche en apprentissage automatique. Les architectures soigneusement conçues et fondées sur des principes mathématiques produisent parfois des améliorations marginales. À l’inverse, les approches centrées sur l’ingénierie, le calcul et l’augmentation des données d’entraînement génèrent de nouvelles capacités. Ces capacités restent souvent imprévues par les théories existantes. L’article publié le 25 août 2026 affirme donc que les mathématiques ne disparaissent pas. Leur rôle évolue. Elles pourraient moins souvent fournir des garanties directes sur les performances. Elles pourraient davantage expliquer, après entraînement, des phénomènes empiriques observés dans les modèles. Lire l’article de The Gradient.

Une discipline élargie Cette évolution ne signifie pas que les mathématiques perdent toute influence. L’article estime qu’elles devront partager leur place avec d’autres disciplines. La biologie peut contribuer à l’étude des systèmes irréductiblement complexes. Les sciences sociales deviennent également pertinentes lorsque l’IA s’intègre davantage dans la société. Les auteurs décrivent cette interdisciplinarité comme une évolution positive pour la recherche. Ils distinguent aussi plusieurs niveaux d’intervention mathématique. L’intuition mathématique pouvait guider des caractéristiques ou des détails architecturaux. Elle pourrait désormais aider à associer une architecture à la structure d’une tâche ou aux symétries des données. Les réseaux convolutifs équivariants aux translations illustrent déjà cette approche depuis plus de 40 ans.

Les modèles deviennent des objets géométriques

De nouveaux domaines L’essor des modèles à grande échelle élargit les branches mathématiques mobilisées. La probabilité, l’analyse et l’algèbre linéaire restent présentes. La topologie, l’algèbre et la géométrie rejoignent toutefois ces domaines plus traditionnellement appliqués. Ces champs dits purs étudient des espaces, des objets algébriques et des processus combinatoires très abstraits. L’article les présente comme des outils possibles pour comprendre les difficultés du profond moderne. Les réseaux utilisant des fonctions ReLU peuvent découper l’espace des entrées en une multitude de régions polygonales. Dans chacune, le modèle se comporte comme une application linéaire. La visualisation de ces décompositions s’appuie notamment sur l’outil SplineCam cité par les auteurs.

Une analyse multidimensionnelle Comprendre un modèle ne se résume pas à mesurer sa précision. Un réseau de 7 milliards de paramètres et 50 couches peut présenter des propriétés différentes malgré une même exactitude. Les auteurs mentionnent la généralisation aux données hors distribution, l’étalonnage et la robustesse face aux attaques adversariales. Les activations cachées offrent une trace des calculs conduisant de l’entrée à la prédiction. Elles restent cependant généralement très dimensionnelles et difficiles à interpréter. L’espace des poids ajoute des millions ou des milliards de directions possibles depuis un même point. Les méthodes actuelles ressemblent ainsi, selon l’article, à une tentative de décrire un éléphant en ne touchant qu’avec une seule épingle. L’image de l’éléphant aveugle illustre cette limite.

La dimension intrinsèque guide l’analyse

Des structures mesurables La dimension intrinsèque cherche à mesurer les degrés de liberté réellement présents dans des données, des représentations ou des matrices de poids. L’hypothèse des variétés propose que certaines données résident approximativement sur une variété de faible dimension. Des chercheurs ont estimé cette dimension pour des jeux de données de référence. Selon l’article, elle semble corrélée à la facilité de généralisation entre les ensembles d’entraînement et de test. Elle peut aussi expliquer des différences de performance et de robustesse dans des domaines comme les images médicales. La dimension intrinsèque intervient enfin dans certaines explications proposées des lois de mise à l’échelle. Ces lois soutiennent la course aux modèles génératifs toujours plus grands.