Shape montre comment le calcul dépasse les mathématiques

Le rôle évolue progressivement. L’article publié le 19 octobre 2026 décrit un déplacement dans la recherche en apprentissage automatique. Les architectures soigneusement conçues et fondées sur des principes mathématiques produisent parfois des améliorations marginales. À l’inverse, les approches centrées sur l’ingénierie et le calcul exploitent des jeux de données plus grands et davantage de paramètres. Elles ont permis des capacités nouvelles, parfois imprévues par les théories existantes. Cette évolution ravive la « Bitter Lesson », selon l’article. Les mathématiques et les statistiques ne disparaissent pas. Elles partagent désormais leur rôle avec d’autres disciplines, notamment la biologie et les sciences sociales, à mesure que l’IA s’intègre dans la société.

Les usages changent de niveau. L’article soutient que les mathématiques restent pertinentes, mais qu’elles interviennent autrement. Elles pourraient davantage expliquer après coup des phénomènes observés pendant l’entraînement et l’évaluation des modèles. Leur intuition pourrait aussi guider des choix de niveau supérieur. Il s’agit notamment d’associer une architecture à la structure d’une tâche ou aux symétries des données. Les réseaux convolutifs équivariants par translation illustrent déjà cette logique. Cet exemple remonte à plus de quarante ans. L’article présente donc moins un abandon des mathématiques qu’une évolution des problèmes auxquels elles peuvent contribuer. La topologie, l’algèbre et la géométrie rejoignent ainsi les domaines plus appliqués.

Les modèles dépassent leurs scores

Un score reste partiel. Un réseau neuronal de sept milliards de paramètres et cinquante couches ne se résume pas à sa précision sur des tests. Deux modèles peuvent obtenir la même précision tout en différant par leur généralisation hors distribution, leur calibration ou leur robustesse face aux attaques adversariales. Les activations cachées permettent de suivre la transformation d’une entrée en prédiction. Pourtant, elles sont généralement de grande dimension et difficiles à interpréter directement. L’espace des poids ajoute des millions, voire des milliards, de directions possibles depuis un même point de départ. L’article compare cette situation à la description d’un éléphant à partir d’un simple contact ponctuel.

Les outils rendent visibles les espaces. Les mathématiques proposent des cadres pour étudier des objets difficiles à visualiser. L’article prend l’exemple des rotations en dimension élevée. L’ensemble des rotations de dimension n peut être représenté par le groupe orthogonal spécial SO(n). Lorsque n vaut 512, cet objet appartient à un espace de dimension 512². L’intuition visuelle issue des dimensions deux et trois devient alors insuffisante. Les chercheurs peuvent néanmoins généraliser des concepts spatiaux familiers. Ces outils servent déjà à caractériser les espaces de poids, les activations cachées et les données des modèles d’apprentissage profond. Ils complètent les statistiques de performance sans les remplacer.

La dimension structure les performances

La dimension intrinsèque relie plusieurs observations. L’hypothèse des variétés avance que certaines données résident approximativement sur une variété de faible dimension, même dans un espace très grand. Cette dimension intrinsèque mesure alors une partie des degrés de liberté du jeu de données. Des travaux cités dans l’article l’ont estimée sur des jeux de référence. Ils observent une corrélation apparente avec la facilité de généralisation entre entraînement et test. Cette notion peut aussi expliquer des différences de performance et de robustesse dans des domaines comme les images médicales. Elle intervient enfin dans certaines explications proposées pour les lois d’échelle des données, liées aux grands modèles génératifs.

Les applications se multiplient déjà. La dimension intrinsèque des activations cachées varie de manière caractéristique lorsque l’information traverse un modèle. Elle évolue également pendant un processus de diffusion. Ces observations ont conduit à l’utiliser pour détecter des exemples adversariaux et des contenus générés par une IA. Elle aide aussi à repérer les couches dont les activations portent le contenu sémantique le plus riche. Des chercheurs l’emploient encore dans l’étude des hallucinations des modèles génératifs. L’article présente ces usages comme des exemples du rôle renouvelé des mathématiques. Pour approfondir, consultez l’article original, ainsi que les ressources sur l’équivariance et la fable de l’éléphant.