John Sumser veut soumettre les agents IA à 100 000 tests

John Sumser alerte sur la fiabilité des systèmes d’IA dans un article publié le 22 septembre 2026. Il décrit l’ingénierie de fiabilité comme la discipline qui mesure, comprend et gère les taux de défaillance. Cette discipline prévoit aussi les conséquences d’une panne. Elle cherche à réduire la probabilité d’échec dès la conception. La redondance, la maintenance régulière, l’inspection et les plans de récupération en constituent les bases. Pour John Sumser, toute mise en œuvre d’IA finira par échouer. La responsabilité consiste donc à mesurer la fréquence de ces échecs et leur gravité. Son analyse est publiée dans AI Governance 9: Reliability Engineering.

Les machines restent prévisibles selon John Sumser, qui oppose leur fonctionnement à celui des humains. Une machine n’a ni compassion, ni conscience, ni préoccupations financières ou familiales. Elle produit plutôt des défaillances observables dans le temps et dans leur mode d’apparition. Des tests suffisamment complets peuvent donc révéler avec précision où et quand un système risque de casser. L’auteur compare l’IA à un grille-pain plutôt qu’à une personne. Il estime que l’anthropomorphisme pousse à juger les machines selon des critères humains. Cette comparaison détourne l’attention de la mesure concrète des erreurs, alors que la fiabilité repose sur des essais et des observations structurés.

Les tests mesurent les défaillances

Cent mille essais peuvent exercer un agent pour identifier ses points de rupture, écrit John Sumser. Il présente cette répétition comme une opération réalisable grâce à la capacité de calcul disponible. Le script de test demande toutefois de l’imagination, du travail détaillé et du temps de préparation. L’analyse des résultats constitue ensuite une difficulté importante. Les grands modèles de langage peuvent aider à repérer les motifs dans ces résultats. Les défaillances vont d’une réponse légèrement incorrecte à une erreur complète ou dangereuse. Leur gravité varie d’une conséquence négligeable à un résultat désastreux. Sans évaluation des conséquences, la gestion du risque devient impossible.

Le risque passe après l’optimisation du nombre de jetons, selon l’analyse de John Sumser. Il juge que l’utilisation non gouvernée de l’IA finira mal. Les défaillances peuvent aussi se propager entre plusieurs fonctions, au lieu de rester dans un seul périmètre. L’auteur défend donc une fonction centrale de contrôle de l’IA, construite en regroupant les responsabilités entre départements. Il reconnaît la difficulté d’installer une telle organisation après la diffusion des usages. Il compare cette situation à une règle à calcul remise à chaque utilisateur sans mode d’emploi. Une même machine peut alors être considérée comme un outil, un objet décoratif ou une arme.

Chaque agent doit intégrer des contrôles

Le déploiement exige une procédure rigoureuse de test et d’évaluation, affirme John Sumser. Aucun agent ne devrait entrer dans l’organisation sans cette étape préalable. Chaque agent devrait aussi disposer de tests intégrés pour surveiller la dérive et les défaillances. Ces contrôles doivent permettre de corriger le système ou de l’arrêter lorsque cela devient nécessaire. L’auteur estime également qu’une compréhension générale du fonctionnement de l’IA doit trouver un point d’ancrage dans l’organisation. Il relie enfin la gouvernance de l’IA à la répartition de la responsabilité, de l’autorité et des obligations. Son profil est disponible sur Substack.