Anthropic a laissé passer 133 millions de requêtes

Incident d’Anthropic: Anthropic a révélé que son filtre anti-armes biologiques est resté inactif pendant près d’un an, exposant ainsi un total impressionnant de 133 millions de requêtes à des risques potentiels. Ce filtre était conçu pour empêcher l’utilisation des modèles d’IA dans le développement d’armes chimiques et biologiques. Cet incident a touché environ 50 000 personnes, dont l’accès était limité par les processus de vérification de prestataires externes, qui se sont avérés souvent insuffisants.

Enquête interne: L’enquête interne d’Anthropic a heureusement conclu qu’il n’y avait eu aucun usage malveillant confirmé. Toutefois, l’entreprise a pris des mesures pour empêcher une répétition de cet oubli, en renforçant notamment les critères imposés à ces contractants externes. Le PDG d’Anthropic avait souligné auparavant que le développement d’armes facilitée par l’IA représente une menace plus conséquente que les cyberattaques. Cet avis renforce l’importance de maintenir des systèmes de sécurité efficaces.

Période critique: Entre mai 2025 et avril 2026, les systèmes de classification qu’utilise Anthropic pour bloquer toute information sur les armes biologiques et chimiques n’ont pas fonctionné correctement. Pendant cette période, toutes les requêtes émanant de collaborateurs externes, qui fournissent un retour humain essentiel pour l’amélioration des modèles IA, n’ont pas été soumises à ce filtrage critique. Cette faiblesse dans le système a donc concerné 133 millions de chats potentiellement à risque, fragilisant les barrières de sécurité mises en place.

Mesures correctives en cours

Malgré cette fuite potentielle d’information, Anthropic assure n’avoir trouvé aucune preuve d’exploitation mal intentionnée. Cependant, la société a réagi en resserrant les contrôles des qualifications des sous-traitants afin de garantir une meilleure sécurité à l’avenir. Cette réforme vise à rectifier les insuffisances constatées et réduire les vulnérabilités de ses systèmes. Anthropic a également ajusté ses classifications sur son modèle Fable 5 après avoir reçu des plaintes concernant la sévérité excessive du filtre compromettant des recherches légitimes.

Pour plus de précisions, vous pouvez consulter le rapport complet d’Anthropic. L’affaire souligne l’importance d’une vigilance constante dans le domaine de l’IA et des mesures de sécurité nécessaires pour prévenir l’usage détourné des technologies avancées.