Jacob Coxon appelle l’IA à ralentir pour protéger l’humanité

Jacob Coxon alerte L’ancien chercheur d’Anthropic affirme que des employés du secteur sont « véritablement effrayés » par la vitesse des progrès de l’intelligence artificielle. Âgé de 27 ans, il a quitté Anthropic après avoir publié un message viral sur les dangers de cette technologie. Il a déclaré à la BBC qu’un ralentissement devenait nécessaire. Selon lui, poursuivre le rythme actuel ferait peser un risque important sur l’humanité. Coxon a aussi travaillé chez OpenAI avant de rejoindre Anthropic. Son témoignage intervient alors que plusieurs dirigeants du secteur discutent publiquement de sécurité, de régulation et de surveillance indépendante des modèles. Lire le reportage de la BBC.

Les dirigeants débattent Dario Amodei, directeur général d’Anthropic, a récemment appelé à ralentir le développement de l’IA. Dans un essai publié samedi, il a écrit que les risques étaient sérieux. Il estime que les entreprises et les gouvernements doivent disposer de temps pour les traiter. Sam Altman, dirigeant d’OpenAI, et Elon Musk, dirigeant de xAI, ont déclaré soutenir une décélération coordonnée du secteur. Ils se sont également prononcés pour une régulation et une surveillance indépendantes du développement des modèles. Coxon juge toutefois qu’un ralentissement devrait être coordonné avec la Chine. Il redoute sinon une course internationale autour des capacités de l’IA.

Les dirigeants réclament un ralentissement

Un scénario est avancé Coxon a évoqué le risque d’un essaim de robots agissant comme un superordinateur capable de prendre le contrôle d’Internet. Il considère ce scénario comme possible dans un délai de six mois à un an. Il a également affirmé que certains chercheurs craignaient un danger dans les deux prochaines années. Selon son témoignage, des employés réfléchissent à l’impact de leur travail et à leurs choix de vie. Certains envisageraient même d’acheter des terrains face à l’instabilité redoutée. Anthropic répond que l’IA apportera des bénéfices considérables et des risques sans précédent. L’entreprise affirme développer des modèles dotés de protections parmi les plus solides du secteur.

Les probabilités divisent Evan Hubinger, chercheur chez Anthropic, a déclaré estimer à plus de 10 % le risque que l’IA tue toute l’humanité au cours de la prochaine décennie. Geoffrey Hinton, informaticien et prix Nobel, a jugé qu’une probabilité de 10 % n’était pas déraisonnable. Marc Warner, dirigeant de Faculty, a toutefois déclaré qu’il était extrêmement difficile d’attribuer une probabilité à ce scénario. Il a insisté sur la sincérité des personnes qui expriment ces craintes. Rishi Sunak, conseiller rémunéré d’Anthropic, a également écrit être inquiet des risques pour l’humanité, malgré son optimisme général envers la technologie.

Les critiques contestent les intentions

Les critiques répondent Clement Delangue, dirigeant de Hugging Face, a jugé que le témoignage de Coxon devait être remis en perspective. George Arison, dirigeant de Grindr, a suggéré que les déclarations d’Anthropic et d’autres entreprises puissent soutenir leurs valorisations auprès des investisseurs. Il a associé ces valorisations à la promesse de prendre en charge des secteurs et des emplois. Jensen Huang, dirigeant du fabricant de puces Nvidia, aurait rejeté les propos de Coxon lors d’une conférence de Goldman Sachs, selon des participants interrogés par la BBC. Donald Trump a déclaré que les États-Unis devançaient la Chine dans l’IA et que le vainqueur de cette compétition gagnerait l’IA.

La régulation reste disputée Anthropic affirme avoir été la première entreprise à publier un cadre de réduction des risques liés au développement de ses modèles. Elle dit tester activement ses systèmes et publier ses résultats pour faciliter l’examen externe et prévenir les incidents d’alignement. L’entreprise souhaite aussi une méthode légale et vérifiable permettant au secteur de coordonner le rythme de sortie des modèles puissants. Le débat intervient alors qu’Anthropic préparerait une introduction en Bourse potentiellement record. OpenAI, valorisée dernièrement à 852 milliards de dollars, ne prévoit pas d’introduction cette année, selon Sam Altman, qui a cité des préoccupations liées à la sécurité de l’IA.