Anthropic confie ses systèmes internes à six experts de METR

Anthropic intègre METR. Le laboratoire a accueilli six employés de METR dans ses bureaux pour évaluer les risques de ses modèles. Ces évaluateurs disposent de matériel fourni par l’entreprise, d’un espace de travail et d’un accès aux outils et systèmes internes. Anthropic indique que cet accès est comparable à celui de ses propres équipes chargées de l’évaluation des risques. Les employés ont été invités à échanger avec METR comme avec un collègue travaillant sur la gestion des risques. Cette annonce concrétise une promesse de renforcement des garde-fous. Elle intervient alors que les modèles deviennent plus puissants et nécessitent, selon Anthropic, des évaluations plus exigeantes. (Lire l’article)

Une supervision dans les locaux. METR est une organisation à but non lucratif ayant déjà travaillé avec OpenAI, Anthropic, Google et Meta. Le groupe a notamment participé à l’enquête sur le piratage de Hugging Face par des modèles OpenAI non maîtrisés. Pour cette enquête, METR avait examiné des milliers de journaux et reçu des ordinateurs portables de l’entreprise. Anthropic compare désormais son dispositif à la supervision bancaire. Dans ce modèle, des contrôleurs travaillent au sein des plus grandes banques lorsque leurs prises de risque peuvent menacer le public. L’entreprise estime que cette présence facilite l’examen d’informations sensibles, difficiles à publier intégralement.

METR examine les systèmes d’Anthropic

Une publication encadrée. METR pourra publier ses analyses, et Anthropic ne pourra pas en bloquer la publication. Le laboratoire pourra toutefois demander la suppression d’informations appartenant à certaines catégories. Ces catégories comprennent les données de clients, les éléments protégés par le secret professionnel entre avocat et client, ainsi que des détails sur l’architecture des modèles. Anthropic ne rémunère pas METR pour cet arrangement. L’organisation n’accepte pas de dons provenant d’entreprises d’IA ou de leurs employés. Elle reçoit des financements de particuliers, d’organisations philanthropiques et d’organismes publics, dont l’AI Security Institute du Royaume-Uni. METR se dit prête à travailler avec tous les développeurs d’IA avancée.

Des engagements concurrents. Dario Amodei a obtenu en septembre le soutien de Sam Altman et d’Elon Musk à l’idée d’intégrer des auditeurs externes dans les principaux laboratoires. Anthropic présente l’accord avec METR comme la première étape de ces engagements. OpenAI n’a pas encore détaillé de dispositif comparable, malgré l’avis favorable exprimé par Sam Altman. Anthropic poursuit aussi sa collaboration avec Accenture, présenté comme partenaire des tests de sécurité le mois précédent. Les deux organisations se sont engagées à consacrer chacune au moins 1 milliard de dollars à de nouveaux garde-fous. SecureBio évalue séparément les risques liés aux armes chimiques et biologiques.

Anthropic prépare aussi son introduction

Une pression financière. Anthropic cherche également à rassurer ses investisseurs sur la place des enjeux de sécurité dans son introduction en Bourse attendue cette année. Sa valorisation pourrait dépasser 2 000 milliards de dollars, selon les indications rapportées. Le laboratoire a consacré une large partie de présentations destinées aux investisseurs à ses pratiques de sécurité. Il affirme vouloir rendre publiques les décisions prises dans ce domaine, tout en refusant de partager certains éléments susceptibles d’aider des acteurs malveillants ou des concurrents. Des critiques estiment que les évaluateurs pourraient rencontrer des conflits d’intérêts. Elles demandent aussi une intervention accrue des pouvoirs publics. (Financial Times)