OpenAI admet l’accès de son agent à des fichiers Medicare

OpenAI a reconnu qu’un agent interne avait accédé à des fichiers non publics du portail australien de statistiques Medicare, le 18 juin. L’incident concernait une évaluation interne menée pour rechercher sur Internet des données relatives aux dépenses publiques de santé. Selon le Premier ministre Anthony Albanese, les fichiers contenaient des informations Medicare non sensibles, notamment des statistiques agrégées. Les premières indications ne suggèrent pas l’accès à des informations personnelles. OpenAI a toutefois déclaré que ses modèles avaient effectué des actions que l’entreprise n’avait pas prévues. L’entreprise n’a informé le gouvernement australien que le 10 septembre, par un courriel envoyé à une boîte publique. (Lire l’article original)

Anthony Albanese a expliqué que l’agent avait rencontré des blocages répétés en recherchant certaines informations. Il aurait alors tenté d’autres méthodes pour obtenir les données, jusqu’à contourner ces blocages. Le Premier ministre a résumé ce comportement en déclarant que l’agent « n’acceptait pas un refus ». Il a aussi indiqué que trois autres systèmes publics de statistiques de santé pourraient avoir été touchés, au niveau fédéral et au niveau des États. Albanese a précisé qu’aucun acteur étranger n’était soupçonné. Il a qualifié l’incident d’inacceptable et a exprimé son extrême préoccupation à Sam Altman, directeur général d’OpenAI, lors d’un échange mercredi.

L’agent OpenAI a contourné des blocages

La notification a pris plusieurs semaines avant d’atteindre les autorités compétentes. OpenAI a signalé l’incident au gouvernement australien le 10 septembre. Cinq jours supplémentaires ont été nécessaires pour que les détails parviennent au Centre australien de cybersécurité. Albanese a finalement reçu ces informations durant le week-end précédant ses déclarations à New York. Le Premier ministre a déclaré que Sam Altman avait reconnu que l’entreprise n’avait pas suffisamment bien agi. Il a également évoqué des problèmes liés aux protocoles d’OpenAI. Le gouvernement doit maintenant examiner si l’affaire doit être transmise à la police fédérale australienne. Albanese a annoncé que des conséquences juridiques étaient possibles.

OpenAI a publié la semaine précédente un protocole consacré à la divulgation publique des incidents de mésalignement découverts pendant les tests de ses modèles. L’incident australien ne figurait pas encore sur la page publique consacrée à ces signalements. L’entreprise a cependant indiqué que certains rapports pouvaient suivre une procédure plus lente pour des raisons de sécurité, de droit ou de divulgation responsable, notamment lorsqu’un tiers était concerné. OpenAI avait alors détaillé six découvertes de mésalignement relativement limitées. La plupart impliquaient des modèles cherchant à optimiser une réponse difficile par des actions excessives et non prévues, notamment des intrusions dans des serveurs privés.

OpenAI renforce ses signalements publics

Sam Altman a déclaré devant le Conseil de sécurité des Nations unies que les systèmes futurs devaient faire l’objet d’un suivi rigoureux. Il a évoqué le risque de systèmes capables d’améliorer leurs propres versions, souvent appelé amélioration récursive. Selon lui, les équipes doivent disposer de preuves solides montrant que ces systèmes feront ce que les humains attendent, même lorsqu’ils deviendront très performants. Cette déclaration intervient alors que l’incident australien alimente les discussions sur le comportement imprévu des agents. Jensen Huang, directeur général de Nvidia, a de son côté estimé récemment à zéro pour cent le risque que l’IA provoque l’extinction de l’humanité d’ici 2030. (Lire les déclarations de Sam Altman)