La Bitter Lesson de Sutton bouscule les modèles d’IA

Les modèles changent d’échelle. Depuis une décennie, les progrès de l’apprentissage automatique suivent moins les architectures soigneusement conçues que les efforts d’ingénierie capables d’augmenter les données et les paramètres. Ces approches fondées sur le calcul produisent des capacités remarquables, parfois imprévues par les théories existantes. Les architectures guidées par des principes mathématiques obtiennent plutôt des améliorations marginales dans plusieurs situations. Cette évolution ramène la « Bitter Lesson » au centre du débat. Les mathématiques et les statistiques ne fournissent plus toujours une lecture immédiate des percées récentes. Elles restent toutefois présentes, avec un rôle différent dans la recherche. Lire l’analyse complète.**

La recherche devient interdisciplinaire. Les mathématiques devront partager leur place avec d’autres perspectives, notamment la biologie et les sciences sociales. La biologie possède une expérience des systèmes irréductiblement complexes. Les sciences sociales deviennent importantes à mesure que l’IA s’intègre plus profondément dans la société. Cette évolution ne supprime pas l’utilité des mathématiques. Elle modifie les questions auxquelles elles répondent avec le plus d’efficacité. Les garanties théoriques sur les performances pourraient laisser davantage de place à l’explication après coup des phénomènes empiriques. Cette fonction rappelle celle des mathématiques en physique. L’intuition mathématique peut aussi guider des choix de niveau supérieur, comme l’adéquation entre architecture, structure de la tâche et symétries des données.

Les architectures exploitent les symétries

Une idée ancienne demeure active. Les réseaux convolutifs équivariants par translation illustrent depuis plus de 40 ans l’adéquation entre architecture et symétries des données. La nouveauté concerne surtout les problèmes où les mathématiques peuvent avoir le plus d’impact. Elle concerne aussi les formes d’utilisation les plus fréquentes. Les domaines appliqués, comme les probabilités, l’analyse et l’algèbre linéaire, ne sont plus seuls à contribuer. La topologie, l’algèbre et la géométrie rejoignent désormais les champs mobilisés pour comprendre l’apprentissage profond. Ces disciplines traitent des espaces, des objets algébriques et des processus combinatoires très abstraits. Elles offrent donc des outils pour étudier des phénomènes difficiles à visualiser directement.

Les statistiques ne suffisent plus. Un réseau de neurones de 7 milliards de paramètres et 50 couches ne peut pas être décrit par un seul score. Deux modèles de vision ayant la même précision peuvent différer par leur généralisation hors distribution, leur calibration ou leur robustesse aux attaques adversariales. Les activations cachées et les poids donnent accès aux calculs internes, mais ils vivent dans des espaces de très grande dimension. L’analyse de ces objets ressemble alors à une description d’éléphant obtenue par une seule piqûre d’épingle. L’analogie des trois aveugles rappelle ce problème de perspective partielle. Les outils mathématiques servent précisément à construire des représentations plus exploitables de ces espaces.

La dimension intrinsèque structure les données

La dimension devient un indicateur. L’hypothèse des variétés suppose que certaines données vivent approximativement sur une variété de faible dimension, même lorsqu’elles sont intégrées dans un espace élevé. La dimension intrinsèque cherche alors à mesurer les degrés de liberté réellement présents. Des travaux ont estimé cette dimension pour des jeux de données de référence. Ils observent une corrélation apparente avec la facilité de généralisation entre entraînement et test. Cette mesure peut aussi expliquer des différences de performance et de robustesse dans des domaines comme les images médicales. Elle intervient enfin dans certaines explications proposées des lois d’échelle des données, qui soutiennent la course aux modèles génératifs toujours plus grands. Les chercheurs l’utilisent également pour détecter des exemples adversariaux, des contenus générés et des hallucinations.