Les mathématiciens contestent les percées d’Anthropic et OpenAI

Une série d’annonces Anthropic et OpenAI ont multiplié les déclarations spectaculaires sur leurs modèles pendant plusieurs mois. Fin avril, Anthropic a affirmé que Claude Mythos trouvait des vulnérabilités logicielles mieux que la plupart des experts en sécurité. Un incident de piratage impliquant OpenAI et Hugging Face a ensuite été rapporté. Anthropic, puis Meta, ont reconnu des incidents similaires concernant leurs modèles. Anthropic a également annoncé une percée mathématique attribuée à l’un de ses modèles. OpenAI a formulé une annonce comparable peu après. L’ensemble a reçu une forte couverture médiatique, souvent avec des formulations présentant les logiciels comme proches d’une intelligence artificielle générale. Lire l’analyse originale

Des experts contestent Les spécialistes interrogés après les annonces ont proposé une lecture moins spectaculaire des événements. Des experts en cybersécurité ont décrit les incidents de piratage comme liés à la négligence d’OpenAI et au non-respect de pratiques de sécurité établies. Ils ont rejeté l’idée de modèles devenus autonomes ou ayant créé des civilisations. Dans le dossier mathématique, des chercheurs d’abord impressionnés par l’annonce d’OpenAI sur Astra ont ensuite jugé les résultats moins nouveaux qu’annoncé. Des mathématiciens ont accusé l’entreprise de manquements à l’intégrité scientifique et de plagiat. Ils ont aussi déclaré qu’Astra n’avait pas réalisé de saut intellectuel profond.

OpenAI défend deux percées mathématiques

Deux annonces rapprochées OpenAI a annoncé qu’Astra avait résolu des problèmes présentés comme ouverts depuis au moins une décennie. Deux jours avant une nouvelle annonce mathématique d’OpenAI, Tristan Buckmaster, professeur de mathématiques à l’Institut Courant de l’Université de New York, a publié une déclaration accusant l’entreprise d’avoir repris des travaux d’autres chercheurs et de les avoir attribués de manière incorrecte. L’article rapporte aussi qu’OpenAI a ensuite revendiqué une autre percée mathématique. Ces affirmations ont nourri les critiques sur la manière dont les entreprises présentent leurs résultats. Les annonces concernées portent notamment sur les travaux liés à Navier-Stokes et à la fonction zêta de Riemann. Voir l’annonce d’OpenAI sur Navier-Stokes

Les mathématiques facilitent Le texte explique pourquoi le codage et les mathématiques occupent une place importante dans ces annonces. Ces domaines sont souvent présentés comme des sommets de la capacité intellectuelle humaine. Leurs réponses peuvent aussi être vérifiées après leur production. Cette vérification facilite l’évaluation des sorties générées par les modèles. Les séquences de mots ou de code peuvent être contrôlées sans faire examiner chaque résultat par des annotateurs humains. Des centaines de mathématiciens ont signé une déclaration dénonçant une forte incitation commerciale à surestimer les capacités des produits technologiques. Ils demandent aux responsables publics de consulter des experts avant de prendre des décisions politiques.

Les experts demandent davantage de recul

Une responsabilité attribuée Le texte critique les expressions « superintelligence » et « modèles rebelles », qui attribuent une agentivité aux produits plutôt qu’aux entreprises qui les développent. Selon cette analyse, ces formulations présentent les logiciels comme surhumains et déplacent l’attention des décisions prises par leurs concepteurs. Dans l’affaire de piratage, le récit public peut ainsi se concentrer sur un modèle présenté comme autonome plutôt que sur la création d’un logiciel malveillant par OpenAI. Le texte cite aussi les accusations de plagiat et l’utilisation de données clients pour entraîner des modèles sans consentement. Jacob Coxon, ingénieur chez Anthropic, a affirmé lors de son départ qu’Anthropic et OpenAI avançaient vers une superintelligence capable de s’améliorer elle-même.