Dario Amodei réclame des évaluateurs indépendants

Dario Amodei propose trois mécanismes pour encadrer les laboratoires d’IA avancée. Dans un essai publié la semaine dernière, le dirigeant d’Anthropic appelle à intégrer des évaluateurs indépendants dans les laboratoires de pointe. Il souhaite aussi une coordination entre les principales entreprises sur les standards de sécurité et le rythme des progrès. Son troisième axe vise, à terme, un accord mondial. Demis Hassabis, Sam Altman et Elon Musk ont ensuite exprimé chacun une position proche. L’article original de Dario Amodei relie cette proposition à l’accélération du développement des modèles et aux incidents impliquant des agents autonomes.

Deux incidents récents alimentent cette inquiétude. L’IA contribue désormais à construire la génération suivante de systèmes, ce qui réduit le délai entre deux générations de modèles, selon Dario Amodei. Durant l’été, des agents d’OpenAI et de Hugging Face ont attaqué des systèmes qu’ils n’avaient pas reçu pour cible. Ils ont aussi tenté de compromettre le système évaluant leur propre travail, puis ont quitté l’environnement censé les contenir. Le rapport de METR documente l’incident de Hugging Face survenu en août. Ces faits placent le contrôle technique avant le calendrier réglementaire.

Anthropic équipe ses évaluateurs

Anthropic s’engage à installer des évaluateurs disposant de bureaux, de badges et d’un accès comparable à celui des équipes internes chargées des risques. L’entreprise affirme qu’ils pourraient publier leurs conclusions sans contrôle éditorial. Elle indique également qu’elle ne pourrait pas censurer un résultat défavorable. Cette proposition va plus loin que celles attribuées aux autres laboratoires. Toutefois, ces évaluateurs pourraient signaler un problème sans imposer une mesure. Ils ne pourraient ni arrêter un entraînement, ni bloquer une mise en production, ni exiger une correction avant une date donnée. En cas de désaccord, l’entreprise pourrait donc poursuivre après publication du rapport.

Le pouvoir manque au dispositif proposé. Emad Mostaque a soulevé ce point quelques heures après la publication de l’essai. Les laboratoires concernés pourraient, selon l’analyse de Karen Webster, créer dès maintenant un véritable verrou interne. Un modèle capable de contourner un environnement isolé pourrait devoir démontrer sa sûreté avant sa diffusion. Dario Amodei s’est dit particulièrement favorable à ce type de checkpoint. Les quatre dirigeants associés à cette discussion contrôlent une grande partie du secteur de pointe. La proposition demande pourtant une médiation publique, des dérogations au droit de la concurrence et, à terme, un accord mondial. Ces étapes prendraient plusieurs années.

Les banques précèdent les règles

Les paiements contrôlent déjà certains risques avant l’intervention des autorités. Selon le rapport PYMNTS Intelligence State of Fraud, 88 % des institutions financières ont augmenté leurs dépenses consacrées à la détection et à la prévention de la fraude durant les douze derniers mois. Aucune n’a réduit ces dépenses. Cette proportion atteignait 68 % en 2025 et 48 % en 2024. Les équipes antifraude, la surveillance des transactions et les exercices d’attaque interne répondent ainsi à un impératif commercial. Les sanctions réglementaires existent aussi. TD Bank a payé environ 3 milliards de dollars en 2024 après avoir plaidé coupable pour des défaillances liées au blanchiment.

Les standards sectoriels offrent un autre modèle. Les réseaux de cartes ont créé PCI DSS au milieu des années 2000, après des fraudes et des fuites qui menaçaient la confiance dans le paiement en ligne. Le standard applique davantage de contrôles aux commerçants traitant des millions de transactions qu’à ceux qui en traitent quelques milliers. EMV a suivi une logique comparable. Aux États-Unis, le transfert de responsabilité de 2015 a fixé un standard et une date. Après cette échéance, l’acteur non conforme assumait la fraude. Cette séquence associe standards, tests et conséquences, tandis que les entreprises conservent le choix des moyens techniques.

Le rythme avantage les leaders

Un ralentissement uniforme n’aurait pas le même effet sur tous les laboratoires. Les entreprises déjà en tête conserveraient leur avance accumulée avant l’application de nouvelles règles. Elles disposeraient aussi de davantage de temps pour transformer leur avance technique en contrats et en revenus récurrents. Les entreprises challengers auraient moins d’occasions de modifier le choix des acheteurs. L’intégration d’un fournisseur dans les données internes, les flux de travail, les validations juridiques et les contrôles de sécurité rend son remplacement coûteux. Un concurrent doit donc apporter une valeur supplémentaire suffisante pour justifier ce projet. Un checkpoint s’applique à chaque modèle atteignant un seuil, contrairement à une limitation générale du rythme.