John Sumser veut soumettre chaque agent IA à 100 000 tests

John Sumser affirme que la fiabilité doit devenir un pilier de la gouvernance de l’IA. Dans son article publié le 22 septembre 2026, il rappelle que les systèmes finissent toujours par rencontrer des défaillances. L’ingénierie de la fiabilité consiste à mesurer, comprendre et gérer les taux d’échec. Elle inclut aussi la préparation de l’après-défaillance. La redondance, la maintenance, l’inspection régulière et les plans de récupération en constituent les bases. Pour Sumser, un agent d’IA doit donc être évalué comme une machine. Il ne doit pas être jugé comme une personne dotée d’empathie, de conscience ou de contraintes familiales.

Les machines se testent Sumser oppose l’anthropomorphisme à une démarche expérimentale. Selon lui, les machines présentent des comportements suffisamment prévisibles lorsqu’elles sont testées correctement. Un test peut révéler avec précision comment une machine échoue, à quelle fréquence et où l’échec apparaît. Il estime qu’un agent peut être exécuté 100 000 fois pour identifier ses points de rupture. Le plan de test demande toutefois de l’imagination, du travail détaillé et du temps. L’analyse des résultats constitue une autre difficulté. Sumser attribue aux grands modèles de langage une capacité utile de reconnaissance des motifs dans ces volumes d’observations. Lire l’article de John Sumser.

Les tests révèlent les défaillances

Les erreurs changent d’échelle Les défaillances peuvent être légèrement inexactes, totalement erronées ou dangereuses. Leur impact peut rester négligeable ou devenir désastreux. Sumser considère que tout déploiement d’IA finira par échouer sous une forme ou une autre. La responsabilité consiste alors à mesurer la fréquence des incidents et leur gravité. Sans compréhension des conséquences, il devient impossible de gérer correctement le risque. Cette approche déplace l’attention vers les scénarios concrets. Elle demande d’examiner les modes d’échec avant la mise en production. Elle demande aussi d’associer chaque résultat de test à une conséquence opérationnelle clairement observée.

Le risque dépasse les fonctions Sumser estime que les organisations privilégient actuellement la maximisation des tokens au détriment de l’évaluation du risque. Il avertit que l’usage non gouverné de l’IA ne se terminera pas correctement. Selon lui, les défaillances traversent désormais plusieurs fonctions au lieu de rester dans un périmètre unique. Cette diffusion nourrit l’idée d’une fonction centrale de contrôle de l’IA. Celle-ci devrait consolider les responsabilités entre équipes. Sumser reconnaît toutefois la difficulté de cette installation. Il compare la situation à une règle à calcul remise à chaque utilisateur sans mode d’emploi, pouvant devenir un outil ou une arme.

Chaque agent doit être surveillé

Un contrôle doit exister L’auteur juge nécessaire de donner un point d’ancrage organisationnel à la compréhension du fonctionnement de l’IA. Aucun agent ne devrait être diffusé sans processus rigoureux de test et d’évaluation. Chaque agent devrait aussi intégrer des tests embarqués. Ces contrôles doivent surveiller la dérive et les défaillances après le déploiement. Ils doivent permettre de corriger l’agent lorsque cela est nécessaire. Ils doivent également permettre de le désactiver. Cette exigence transforme la fiabilité en activité continue. Elle relie la conception, l’évaluation, la surveillance et la récupération dans une même chaîne de responsabilité. Suivre John Sumser.