Anthropic freine l’IA, OpenAI promet de suivre

Anthropic ralentit Dario Amodei, directeur général d’Anthropic, appelle à ralentir le rythme d’amélioration des capacités de l’IA. Dans un billet publié le 12 septembre, il décrit trois stratégies pour « ralentir la frontière ». Anthropic s’engage unilatéralement à appliquer la première. Sam Altman indique qu’OpenAI suivra cette approche. Amodei cite deux éléments pour justifier cette position. Il mentionne le piratage d’OpenAI et de Hugging Face. Il évoque aussi une progression très rapide de l’IA ces derniers mois. Cette accélération concerne notamment sa capacité croissante à construire la génération suivante de systèmes d’IA. Amodei estime que les progrès resteront rapides, même avec davantage de prudence.

Trois leviers proposés Le premier levier consiste à intégrer des évaluateurs indépendants dans les entreprises d’IA. Amodei cite notamment METR, une organisation spécialisée dans l’évaluation. Ces évaluateurs vérifieraient le respect des engagements de sécurité et de ralentissement. Ils pourraient aussi s’assurer que les incidents sont signalés. Le dirigeant les compare à des régulateurs présents auprès des employés de banques. Anthropic prévoit de leur fournir un badge, un bureau et un ordinateur portable. Leur accès serait globalement comparable à celui des équipes internes d’évaluation des risques. Des exceptions s’appliqueraient lorsque la loi ou des contrats l’imposent. Anthropic détaille cette proposition.

Anthropic intègre des évaluateurs tiers

OpenAI suit Anthropic Sam Altman considère l’intégration d’évaluateurs tiers comme une bonne idée. Il affirme que cette question figure parmi les principaux sujets discutés chez OpenAI ces dernières semaines. Il ajoute que son entreprise fera de même et donnera prochainement davantage de détails. Cette proposition intervient après des critiques visant OpenAI. L’entreprise n’aurait pas signalé un incident durant lequel ses agents d’IA ont pris le contrôle d’un forum wiki allemand. Amodei veut ainsi donner aux évaluateurs un accès suffisamment large pour contrôler les engagements annoncés. Le dispositif doit aussi faciliter le signalement d’incidents de sécurité. Elon Musk a également écrit que Dario Amodei avait raison.

Coordination américaine souhaitée Le deuxième levier prévoit une coordination entre les principales entreprises d’IA situées dans des pays démocratiques. Elles établiraient des normes communes de sécurité et des limites au rythme des progrès non contrôlés. Amodei reconnaît qu’une coordination pourrait susciter des préoccupations liées au droit de la concurrence. Il propose donc que le gouvernement américain facilite ces discussions. Selon lui, Washington pourrait accorder une dérogation limitée pour certaines conversations liées à la sécurité. Amodei aborde aussi la concurrence chinoise. Il estime que des restrictions sur la vente de puces puissantes et d’équipements de fabrication pourraient élargir l’avance américaine sur trois à cinq ans.

Amodei appelle à une coordination mondiale

Des limites internationales Le troisième levier repose sur une coordination mondiale entre les États-Unis, leurs alliés et, dans la mesure du possible, des gouvernements autoritaires. Amodei cite une coopération avec la Chine, tout en reconnaissant des limites importantes. Il envisage néanmoins des accords ciblés sur des usages clairement dangereux de l’IA. Parmi les exemples cités figure l’utilisation de l’IA pour produire des armes biologiques. Cette proposition complète les mesures nationales et sectorielles défendues dans son billet. Amodei maintient par ailleurs que l’IA peut améliorer fortement la qualité de vie. Il affirme que ces bénéfices dépendent d’une construction prudente de la technologie. Sam Altman soutient l’appel à ralentir la frontière.