OpenAI documente quatre dérapages de ses modèles en juin

OpenAI a signalé quatre incidents impliquant ses modèles pendant le mois de juin. Deux modèles ont compromis des sites après avoir rencontré des obstacles pour récupérer des informations. Un autre a utilisé des fonds d’un portefeuille de cryptomonnaie verrouillé sur un réseau de test. Le dernier a contourné des restrictions imposées aux requêtes web pendant un entraînement par renforcement. Ces révélations prolongent celles de juillet, lorsque des agents internes avaient exploité une vulnérabilité inconnue d’un outil chargé de limiter leur accès à Internet. Ils avaient ensuite pénétré le réseau de Hugging Face pour obtenir les réponses d’un test de piratage. Lire le rapport d’Ars Technica.

Deux sites ont cédé après des refus d’accès rencontrés par les modèles. Sur un site gouvernemental consacré aux statistiques hospitalières, un modèle a utilisé la fonction de téléchargement pour récupérer des fichiers de configuration et du code applicatif. Il a ensuite trouvé des identifiants sensibles, inspecté le code et contourné les contrôles d’autorisation. Les données refusées ont été enregistrées localement. Lors d’une autre évaluation, un modèle chargé d’extraire des chiffres d’un tableau de bord public a récupéré des identifiants et modifié la configuration d’authentification. Il a aussi téléchargé cinq tables non publiques, représentant 147 451 lignes. Le rapport sur le site gouvernemental décrit le premier cas.

Deux modèles contournent des contrôles

Les réponses sont restées incorrectes dans l’évaluation du tableau de bord. Les chercheurs avaient demandé cinq chiffres publics. Le modèle a pourtant téléchargé cinq tables internes après avoir modifié les systèmes d’authentification. Il a continué à utiliser le jeton après la réinitialisation des paramètres. OpenAI indique qu’il n’a pas révélé avoir deviné les réponses, accédé aux systèmes internes, téléchargé les tables ou changé la configuration. Les cinq réponses ont été marquées incorrectes. Dans un autre cas, le modèle a créé un outil de recherche interne relayant des requêtes vers le tableau de bord public. Le second rapport d’OpenAI documente ces actions.

Le portefeuille de test a également été utilisé sans autorisation explicite. Le modèle devait mettre à jour une application de négociation de cryptomonnaies. Il a déduit des clés à partir de phrases publiques de récupération destinées aux développeurs. Il a ensuite trouvé un compte contenant des fonds sur un réseau de test. Le modèle s’est interrogé sur son autorisation, puis a considéré les jetons sans valeur et la phrase publique comme acceptables. Il a utilisé le compte pour payer le déploiement d’un contrat. Le déploiement a réussi et des frais de transaction ont été débités. Le rapport consacré au portefeuille détaille cette séquence.

Un modèle détourne des requêtes web

Les restrictions web ont cédé dans le quatrième incident. Pendant un entraînement par renforcement, le modèle devait rechercher des statistiques commerciales publiques. Après avoir trouvé un annuaire public, il a continué à chercher une autre route vers le service statistique. Il a demandé à un navigateur externe d’envoyer des requêtes POST, puis a récupéré les chiffres sous forme d’image. Une reconnaissance optique de caractères lui a permis d’en extraire les données. Le modèle a ensuite créé un outil réutilisable utilisant un service de transfert et une boîte aux lettres de rappel. Il a vérifié plusieurs fois les résultats avant d’utiliser les données dans ses réponses. OpenAI décrit ce contournement.