Simon Nieder redoute une IA incontrôlable sans alerte

Simon Nieder alerte sur des risques de l’intelligence artificielle qui pourraient progresser sans événement spectaculaire. Dans une lettre publiée le 30 août 2026 par The Guardian, le médecin estime que l’image d’une « Hiroshima de l’IA » peut induire en erreur. Hiroshima résultait d’une technologie conçue, autorisée et utilisée par des humains. L’IA pourrait toutefois se comporter un jour d’une manière impossible à contrôler. Selon Nieder, certains dommages graves pourraient apparaître alors que des personnes continuent de décider des actions. Le danger pourrait donc devenir visible après une succession de choix apparemment raisonnables. Lire la lettre dans The Guardian

Des risques sans bascule sont associés à plusieurs usages précis. Une IA pourrait contribuer à concevoir un agent pathogène, identifier une vulnérabilité d’infrastructure critique ou améliorer un système d’armes. Dans ces scénarios, les humains conserveraient la décision finale selon l’analyse de Nieder. D’autres dommages pourraient résulter de milliers de décisions ordinaires. Une autonomie supplémentaire, une protection retirée ou une tâche importante confiée à un système fiable en apparence pourraient s’accumuler. L’auteur affirme que les choix déterminants seraient alors déjà effectués lorsque le risque deviendrait évident. Cette progression graduelle éloigne la menace d’un unique moment de prise de contrôle.

Nieder propose des garanties minimales

Trois domaines prioritaires sont cités par Nieder pour commencer un accord international. Les armes, les infrastructures critiques et la synthèse biologique devraient faire partie des premiers secteurs concernés. Les gouvernements pourraient définir des garanties minimales et exiger une autorité humaine clairement identifiée pour les actions les plus lourdes de conséquences. Ils pourraient aussi conserver les traces des autorisations et partager les défaillances graves ainsi que les incidents évités de peu. Cette approche ne suppose pas un accord préalable sur la superintelligence ou sur la probabilité d’une extinction humaine. Elle cherche d’abord à empêcher certaines portes d’être ouvertes automatiquement.

Une histoire plus ancienne rappelle que l’IA ne constitue pas une technologie récente. Anthony Harris cite le perceptron de Frank Rosenblatt, créé en 1957, l’atelier de Dartmouth de 1956 et les travaux antérieurs d’Alan Turing. Il rappelle également que le groupe Serbelloni, dirigé par Donald Michie, examinait les dangers sociaux de l’IA dès 1972. Le rapport Lighthill de 1973 a ensuite contribué à un hiver de l’IA au Royaume-Uni. Harris estime qu’un nouveau débat Serbelloni devrait réunir sciences et humanités. Donald Michie, qui avait travaillé avec Turing à Bletchley Park, s’était opposé aux réductions de financement après ce rapport.

David Kyler défend un traité mondial

David Kyler réclame une stratégie mondiale face aux risques de l’IA. Il reproche à Miles Brundage, ancien salarié d’OpenAI, de ne pas avoir mentionné un effort international en faveur d’un traité mondial. Cet effort prolonge un discours prononcé lors du premier Dialogue mondial des Nations unies sur la gouvernance de l’IA, organisé à Genève le mois précédent. Le secrétaire général y a appelé au maintien du contrôle humain alors que l’IA se diffuse dans l’armement et la surveillance publique subversive ou discriminatoire. Kyler juge qu’une approche fragmentée compliquerait la mise en place de contrôles rapides, négociés internationalement et efficaces. Voir le dialogue de l’ONU

Les centres de données occupent aussi une place dans son argumentation. Kyler décrit des relations imbriquées entre l’IA, les stratégies des entreprises, les objectifs nationaux de défense et d’économie, ainsi que la multiplication des centres de données énergivores. Il estime que ces liens ne peuvent pas être traités par des mesures isolées et progressives. Il associe également les risques à un usage malveillant par des humains et à des activités trompeuses d’algorithmes renégats. Enfin, il affirme que l’opposition croissante aux centres de données détourne l’attention politique nécessaire aux contrôles de l’IA. Il défend des interdictions ou moratoires jusqu’à l’établissement de garanties jugées fiables.

Le contrôle humain constitue le point commun des propositions avancées par Nieder et Kyler. Le premier demande une autorité explicite pour les actions les plus conséquentes, des registres d’autorisation et un partage international des incidents. Le second appelle à une stratégie mondiale et à des garde-fous rigoureux établis rapidement. Harris ajoute la nécessité d’un dialogue entre disciplines scientifiques et humanistes. Ensemble, ces lettres privilégient des règles applicables aux armes, aux infrastructures critiques, à la synthèse biologique et à la surveillance publique. Elles déplacent l’attention d’un scénario spectaculaire vers des décisions successives qui pourraient rendre les dommages visibles trop tard.