L’IA force les mathématiques à changer de rôle

Le rôle évolue Les progrès récents de l’apprentissage automatique déplacent le centre de gravité de la recherche. Les architectures conçues avec des principes mathématiques produisent souvent des gains marginaux. Les approches fondées sur le calcul et l’ingénierie obtiennent des capacités remarquables en augmentant les jeux de données et le nombre de paramètres. Ces résultats dépassent parfois les prévisions des théories existantes. Les mathématiques et les statistiques fournissent donc moins souvent une lecture immédiate des dernières avancées. Cette évolution ne supprime toutefois pas leur utilité. L’article Shape, Symmetries, and Structure défend plutôt une transformation de leur rôle dans la recherche en IA.

Une recherche plus interdisciplinaire Les mathématiques devront partager davantage la scène avec d’autres disciplines. La biologie étudie déjà des systèmes complexes dont le comportement ne se réduit pas facilement à quelques règles. Les sciences sociales deviennent également pertinentes à mesure que l’IA s’intègre dans la société. Cette diversification est présentée comme un développement positif pour les chercheurs. Les mathématiques pourraient désormais expliquer après coup certains phénomènes observés pendant l’entraînement ou dans les performances des modèles. Elles pourraient aussi guider des choix de niveau supérieur. Il s’agit notamment d’associer une architecture à la structure d’une tâche ou aux symétries présentes dans les données.

Les architectures suivent les symétries

Une idée ancienne Les réseaux convolutifs équivariants par translation illustrent déjà cette association entre architecture et symétrie des données. Cette approche a plus de 40 ans. La nouveauté concerne donc moins le principe que les problèmes auxquels les mathématiques peuvent s’appliquer. La montée en échelle élargit aussi les domaines mobilisés. La topologie, l’algèbre et la géométrie rejoignent les champs plus traditionnellement appliqués. Ces derniers comprennent les probabilités, l’analyse et l’algèbre linéaire. Ces disciplines plus abstraites étudient des espaces, des objets algébriques et des processus combinatoires complexes. Elles offrent ainsi des outils pour caractériser des phénomènes difficiles à visualiser directement.

Des modèles difficiles à saisir Un réseau neuronal de 7 milliards de paramètres et 50 couches ne se résume pas à un score d’évaluation. Deux modèles de vision peuvent obtenir la même précision tout en différant par leur généralisation hors distribution, leur calibration ou leur robustesse adversariale. Les activations cachées sont accessibles, mais elles vivent généralement dans des espaces de grande dimension peu lisibles. Les poids offrent encore davantage de directions d’analyse, de quelques millions à plusieurs milliards. L’article compare cette situation à une description d’éléphant réalisée au contact d’une seule épingle. Les statistiques de performance restent utiles, mais elles ne suffisent pas à construire une compréhension scientifique complète.

La dimension intrinsèque guide l’analyse

Des outils pour l’invisible Les mathématiques proposent des concepts capables de décrire des espaces que l’intuition visuelle ne permet pas d’explorer. Le groupe spécial orthogonal SO(n) représente les rotations en dimension n. Lorsque n vaut 512, son étude concerne une variété plongée dans un espace de dimension 512². La dimension intrinsèque cherche, elle, à mesurer le nombre de degrés de liberté d’un jeu de données, d’une représentation ou d’un ensemble de matrices de poids. Des travaux cités relient cette dimension à la facilité de généralisation. Ils l’utilisent aussi pour étudier la robustesse d’images médicales, les lois d’échelle, les contenus générés, les exemples adversariaux et les hallucinations.