Le MIT révèle comment l’IA brouille la trace de ses sources

Le MIT observe un phénomène nommé « attribution decay » dans les modèles de diffusion entraînés sur de grands jeux de données. Les chercheurs Zheng Dai et David Gifford, du laboratoire CSAIL, ont constaté qu’une image générée changeait souvent très peu après le retrait d’une image d’entraînement. Le même résultat apparaissait en retirant toutes les images d’un artiste ou toutes les photographies d’une personne. L’étude, publiée le 18 août 2026 dans Nature Communications, porte donc sur le lien causal entre données utilisées et sorties produites. Les auteurs indiquent que cette connexion peut disparaître lorsque le volume d’entraînement augmente. Lire l’étude dans Nature Communications.

La méthode contourne le coût du réentraînement complet. Pour mesurer l’effet d’une image, il faudrait normalement recréer le modèle sans cette image, puis répéter l’opération pour chaque donnée. Les chercheurs ont construit une architecture appelée « diffusion ensemble ». Elle regroupe plusieurs composants plus petits, chacun entraîné sur une portion différente des données. Pour supprimer une image, l’équipe désactive les composants qui l’ont utilisée. Le modèle contrefactuel obtenu correspond ainsi à une suppression effective, plutôt qu’à une estimation. Les chercheurs ont comparé ces ensembles à 24 modèles de diffusion conventionnels entraînés sur les mêmes données. Les mesures standards ont donné des images d’une qualité comparable.

Les ensembles testent chaque suppression

Les tests couvrent des jeux de données compris entre 256 images et plus de 160 000 images. Les chercheurs ont utilisé sept collections publiques, notamment CIFAR-10, CelebA, MetFaces et ArtBench. Pour chaque image générée, ils ont étudié un « univers contrefactuel » composé de versions produites après le retrait de différentes données d’entraînement. Le « rayon contrefactuel » mesure alors l’écart maximal entre l’image originale et ces versions alternatives. Ce rayon diminue selon une loi de puissance inverse lorsque le jeu de données grandit. Le phénomène apparaît avec des mesures pixel par pixel et avec des mesures sémantiques, avec une signification statistique dans les deux cas.

Les vérifications renforcent ce résultat expérimental. À petite échelle, l’équipe a entraîné 1 282 modèles séparés pour reproduire la suppression par force brute. L’atténuation de l’attribution est également apparue dans cette expérience. Les chercheurs ont conservé constante la fraction de données retirée, sans faire disparaître le phénomène. Ils l’ont aussi observé avec un nombre d’époques fixé, des modèles guidés par texte, des modèles conditionnés par classe et quatre métriques de similarité. Zheng Dai précise que les ensembles fonctionnent mal avec peu de données, mais qu’ils évoluent mieux que les modèles de diffusion classiques lorsque les jeux de données deviennent plus grands.

David Gifford relie le résultat au droit

David Gifford estime que ces observations alimentent le débat sur le caractère dérivé des sorties de modèles. Selon le professeur du MIT, une sortie sans lien attribuable avec une donnée individuelle soulève des questions sur l’usage équitable, la protection par le droit d’auteur et la rémunération des auteurs. Il affirme aussi que l’industrie pourrait utiliser cette méthode pour produire des sorties garanties comme non attribuables à des personnes ou à des éléments précis. James Grimmelmann, professeur de droit à Cornell Law School et Cornell Tech, juge que l’attribution pourrait échouer pour des modèles sophistiqués. Il envisage alors d’autres méthodes pour évaluer une éventuelle copie.

Le périmètre reste celui des modèles de diffusion, utilisés pour produire des médias audiovisuels et présents dans certaines applications scientifiques, notamment la modélisation de structures protéiques et la découverte thérapeutique. Les chercheurs n’établissent pas que le même phénomène concerne les grands modèles de langage. James Grimmelmann indique toutefois que leurs résultats peuvent modifier la manière d’évaluer les ressemblances entre sorties et œuvres protégées. L’étude a reçu le soutien de Schmidt Futures. Les travaux de Zheng Dai et David Gifford sont présentés dans l’article Outputs of generative diffusion models are often unattributable, publié par le MIT le 18 août 2026.