Anthropic veut bloquer les modèles menaçant 50 vies

Anthropic propose un projet de loi américain consacré à la sécurité de l’IA. Le texte pourrait bloquer la distribution d’un modèle si celui-ci pouvait provoquer la mort de plus de 50 personnes. Il viserait aussi les modèles associés à plus d’un milliard de dollars de dégâts matériels. Anthropic défend ce projet depuis juin. La proposition reprend, selon un porte-parole d’Anthropic, les orientations présentées dans l’Advanced AI Framework. Le mécanisme concerne donc la distribution des modèles, et non seulement leur conception. Le seuil chiffré place les conséquences humaines et matérielles au centre de l’évaluation réglementaire américaine proposée par l’entreprise. (TechCrunch)

Le texte cible plusieurs risques précis. Il considère notamment la libération d’une arme biologique, l’évasion des contrôles par un modèle et les cyberattaques. Ces scénarios entreraient dans l’évaluation d’un risque susceptible de justifier le blocage d’une distribution. Le projet associe ainsi des menaces biologiques, des capacités de contournement et des attaques informatiques. Le seuil de 50 décès potentiels s’appliquerait au même dispositif que le seuil de dégâts matériels supérieur à un milliard de dollars. Anthropic présente cette architecture dans le cadre de son projet de loi sur la sécurité de l’IA. L’entreprise avance cette proposition depuis juin, ce qui inscrit l’initiative dans une démarche engagée plusieurs mois avant sa publication actuelle.

Des évaluateurs enregistrés au Commerce Department

Des évaluateurs indépendants seraient chargés d’examiner les risques. Ils devraient être enregistrés auprès du Commerce Department, l’administration américaine compétente dans le dispositif proposé. Leur mission consisterait à évaluer si un modèle présente un risque catastrophique imminent. En cas de risque imminent, ils disposeraient de 72 heures pour le signaler au Commerce Department. Le projet ne confie donc pas cette première alerte à un seul acteur interne au laboratoire. Il prévoit des évaluateurs indépendants inscrits auprès d’une administration fédérale. La proposition d’Anthropic définit ainsi un circuit formel entre l’évaluation, le signalement et l’intervention administrative, avec un délai de 72 heures explicitement fixé.

Une décision judiciaire interviendrait ensuite avant l’arrêt d’une sortie. Si des risques sont signalés, le Commerce Department devrait demander l’autorisation d’un juge de Washington, D.C. pour suspendre la distribution du modèle. Le ministère ne disposerait donc pas, dans ce projet, d’un pouvoir de blocage présenté comme automatique. La procédure associerait une évaluation indépendante, une alerte sous 72 heures, puis une demande devant un juge. Le seuil resterait celui d’un risque pouvant tuer plus de 50 personnes ou causer plus d’un milliard de dollars de dégâts matériels. Ces étapes constituent les principaux éléments opérationnels de la proposition portée par Anthropic depuis juin.

Demis Hassabis défend une autre structure

Demis Hassabis suggère de son côté un organisme de régulation de l’IA doté d’un fonctionnement autonome. Il le compare à la FINRA. Cette proposition se distingue du mécanisme avancé par Anthropic, qui prévoit des évaluateurs enregistrés auprès du Commerce Department et une validation par un juge de Washington, D.C. Les deux approches apparaissent dans les éléments de débat consacrés à la supervision de l’IA. Le projet d’Anthropic conserve des seuils précis, avec plus de 50 morts potentielles ou plus d’un milliard de dollars de dégâts. Il prévoit aussi un délai de 72 heures pour signaler un risque imminent au Commerce Department avant toute demande judiciaire de suspension.