The Gradient voit l’IA troquer les maths contre l’échelle

Un déplacement scientifique Les mathématiques ne quittent pas la recherche en apprentissage automatique. Leur rôle évolue face aux progrès obtenus par des entraînements plus coûteux, des jeux de données plus vastes et des modèles comportant davantage de paramètres. L’article de The Gradient observe que les architectures conçues avec des principes mathématiques produisent parfois des améliorations marginales. À l’inverse, les approches centrées sur l’ingénierie et la mise à l’échelle ont fait émerger des capacités remarquables, parfois non prévues par les théories existantes. Les mathématiques pourraient donc moins fournir des garanties immédiates. Elles pourraient davantage expliquer après coup les phénomènes observés pendant l’entraînement et l’évaluation. Lire l’article original

Des modèles difficiles à résumer Une seule mesure ne suffit pas à décrire un modèle complexe. Un réseau de neurones doté de 7 milliards de paramètres et de 50 couches peut obtenir une bonne précision tout en présentant des différences sur les données hors distribution, le calibrage ou la robustesse adversariale. Les activations cachées donnent accès aux calculs intermédiaires, mais elles évoluent généralement dans des espaces de grande dimension difficiles à interpréter. Les poids du modèle ajoutent encore des millions ou des milliards de directions possibles. L’article compare cette situation à une description d’un éléphant obtenue en ne touchant qu’un point avec une épingle. Les statistiques de performance restent donc insuffisantes pour une compréhension scientifique complète.

Les modèles exposent leurs structures

Des outils pour l’invisible Les mathématiciens cherchent souvent d’abord les bonnes questions et les outils capables de rendre des objets abstraits analysables. Les rotations illustrent cette difficulté. En dimension 2 ou 3, elles restent accessibles à l’intuition spatiale. En dimension 512, leur étude concerne une variété plongée dans un espace de dimension 512². La structure algébrique des rotations peut être étudiée avec les matrices orthogonales de déterminant 1, notées SO(n). Leur structure géométrique peut aussi être décrite par la notion de variété. Ces approches fournissent des perspectives complémentaires pour analyser les espaces de poids, les activations cachées et les données des modèles profonds.

La dimension devient mesurable La dimension intrinsèque cherche à estimer le nombre de façons indépendantes dont un jeu de données, une représentation apprise ou un ensemble de matrices peut varier. L’hypothèse des variétés propose que certaines données vivent approximativement sur une variété de faible dimension, même lorsqu’elles sont plongées dans un espace de grande dimension. Des chercheurs ont estimé cette dimension pour des jeux de données de référence. Elle semble corrélée à la facilité de généralisation entre entraînement et test. Elle peut aussi expliquer des différences de performance et de robustesse dans des domaines comme les images médicales. Elle intervient enfin dans certaines explications proposées des lois de mise à l’échelle des données.

La géométrie élargit ses usages

Des applications déjà observées La dimension intrinsèque change de manière caractéristique dans les activations cachées lorsque l’information traverse un modèle. Elle évolue aussi pendant un processus de diffusion. Ces observations ont conduit à l’utiliser pour détecter des exemples adversariaux, des contenus générés par l’IA et des hallucinations dans des modèles génératifs. Elle sert également à repérer les couches dont les activations cachées contiennent le contenu sémantique le plus riche. Cette évolution illustre le déplacement décrit par l’article. Les mathématiques guident moins nécessairement chaque détail architectural. Elles aident davantage à caractériser les structures internes et les phénomènes empiriques des modèles. La topologie, l’algèbre et la géométrie gagnent ainsi une place aux côtés des probabilités, de l’analyse et de l’algèbre linéaire. Voir l’exemple sur l’équivariance