PNC défend une étiquette nutritionnelle pour l’IA bancaire

PNC formalise les banques doivent renforcer la qualité des données qui alimentent leurs modèles d’IA générative. Ned Carroll, responsable des données et de l’automatisation chez PNC, défend une « étiquette nutritionnelle » pour documenter cette qualité. Un groupe de travail du Financial Services Sector Coordinating Council a préparé un document sur cette approche. L’objectif consiste à vérifier que les données respectent des exigences minimales avant leur utilisation. Carroll résume le risque ainsi : « L’IA, sans données bien organisées et bien sélectionnées, n’est rien de plus que des mathématiques intéressantes sur un tableau blanc. » Lire l’article d’American Banker.

Le risque s’accélère les institutions financières gèrent déjà la qualité des données dans leurs modèles. En 2011, les régulateurs bancaires américains ont publié la recommandation SR 11-7 sur la gestion, le suivi et la validation des modèles d’IA. En 2012, la rémunération de Jamie Dimon, directeur général de JPMorganChase, a été réduite de moitié après une perte de négociation de 6 milliards de dollars. Cette perte provenait notamment de données défectueuses utilisées par un modèle de gestion des risques. L’assistant virtuel d’Air Canada a également fourni une réponse erronée sur une remise de deuil, entraînant une condamnation judiciaire au Canada.

PNC distingue deux gestions du risque

Les usages varient PNC distingue les modèles déterministes des modèles probabilistes d’IA générative. Dans un modèle déterministe, une « vérité de référence » peut provenir de données structurées, de calculs et de statistiques. Les modèles génératifs probabilistes ne disposent pas de cette même vérité de référence, selon Ned Carroll. PNC a donc établi une politique spécifique pour la gestion du risque lié à l’IA générative. Carroll explique que la banque évite de confondre cette gestion avec celle du risque des modèles classiques. La demande de pratiques solides de gestion des données augmente avec le recours à l’IA générative, ajoute-t-il.

Le seuil dépend du résultat attendu par la banque. Une donnée utilisée pour générer des offres marketing peut respecter un niveau de qualité inférieur à celui requis pour approuver un prêt. Dans ce second cas, la banque expose directement un risque et applique donc un standard plus élevé. L’étiquette nutritionnelle doit rendre visibles plusieurs variables, notamment les entrées, l’actualité, la qualité et la fraîcheur des données. Le propriétaire des données atteste leur qualité dans ce scénario. Les fournisseurs d’informations de crédit, de données de marché et d’autres données doivent alors attester l’exactitude et l’actualité des informations transmises.

Le FSSCC structure la transparence

La responsabilité compte car l’absence de responsable clairement identifié affaiblit la gestion de la qualité. PNC et d’autres banques ajoutent leurs propres connaissances et leur contexte aux modèles comme ChatGPT et Claude. Ces modèles de référence ont été entraînés sur l’ensemble d’Internet et disposent généralement de contrôles limités sur la qualité des données. Carroll estime que les banques doivent conserver la maîtrise de leur intelligence et de leurs connaissances propriétaires. Une politique, une procédure ou une donnée non structurée peut contenir leur propriété intellectuelle. L’étiquette sert ainsi à communiquer des exigences internes et à dialoguer avec les tiers. Voir le document vidéo du FSSCC.

La transparence reste imparfaite Ian Schnoor, directeur exécutif du Financial Modeling Institute, soutient l’idée d’une étiquette nutritionnelle. Il avertit toutefois qu’une étiquette alimentaire peut être mal interprétée. Il cite un aérosol de cuisson affichant zéro calorie pour une pulvérisation d’un quart de seconde. Une quantité suffisante pour remplir une tasse contiendrait pourtant des milliers de calories. Selon Schnoor, ces étiquettes constituent un bon début pour la transparence, la protection des investisseurs et l’intégrité des transactions. Elles ne garantissent toutefois pas une lecture exacte dans tous les cas. Leur utilité dépend donc de l’interprétation et de la possibilité de manipuler les informations présentées.