Neil Johnson mesure les tokens avant le dérapage

Une formule publiée Neil Johnson et Frank Yingjie Huo, physiciens de George Washington University, ont publié une formule qui estime le nombre de tokens corrects produits avant le premier token problématique d’un chatbot. Leur étude est parue dans la revue Patterns. Elle s’appuie sur un préprint diffusé en février, avant l’évaluation formelle par les pairs. Les auteurs appellent n le nombre de fragments de mots générés avant le basculement. Lorsque la conversation penche déjà vers une réponse nuisible, n vaut zéro. Lorsqu’elle penche vers une réponse correcte, le modèle peut produire plusieurs réponses convenables avant de basculer. La formule cherche donc à estimer ce point de bascule.

Un test à 94 % Dans le préprint, la formule a correctement distingué les basculements immédiats des basculements différés dans 15 des 16 cas clairement tranchés. Le taux annoncé atteint ainsi 94 %. Les chercheurs ont testé six modèles à poids ouverts issus d’OpenAI, d’EleutherAI et de Meta. Ces modèles comptaient entre 124 millions et 410 millions de paramètres. Le papier publié élargit le test à sept modèles, jusqu’à 12 milliards de paramètres. Les auteurs décrivent ces résultats comme un premier test de leur méthode. Les essais du préprint utilisaient toutefois une fenêtre de 300 tokens. Les prédictions pouvaient aussi différer d’un token de sortie.

Johnson relie le basculement à l’attention

Le rôle de l’attention Johnson et Huo attribuent le phénomène à la tête d’attention d’un modèle. Cette composante décide quels mots antérieurs de la conversation comptent le plus pour choisir le prochain token. À mesure que l’échange s’allonge, le contexte accumulé attire l’attention vers différents groupes de réponses possibles. Le modèle peut alors franchir un seuil et produire une réponse nuisible. Les chercheurs relient ce mécanisme à certains jailbreaks. Ils indiquent aussi que les invites système sont utilisées pour orienter le comportement d’un chatbot. Une étude précédente des mêmes auteurs avait conclu que « please » et « thank you » influencent peu la sortie d’un modèle.

Un usage hors ligne Les chercheurs ciblent les modèles exécutés directement sur un téléphone ou un ordinateur portable. Ces systèmes fonctionnent sans connexion internet et ne disposent pas d’un service infonuagique chargé de contrôler leurs sorties. Ils citent les chatbots compagnons parmi les usages concernés. L’application expérimentale AI Edge Gallery de Google permet déjà à un téléphone Android d’exécuter des modèles hors ligne. Les données saisies dans cette application ne sont pas envoyées aux serveurs de Google, selon le texte étudié par Decrypt. Cette évolution accompagne des modèles plus petits et des appareils plus puissants. Le besoin de contrôle concerne donc aussi des systèmes utilisés sans serveur distant.

Les chercheurs proposent un moniteur parallèle

Un voyant de sécurité Johnson et Huo proposent un moniteur peu coûteux fonctionnant en parallèle du modèle. Cet outil signalerait que n* passe sous un seuil de sécurité défini. Les auteurs le comparent à un voyant d’alerte sur le tableau de bord d’une voiture. Ils décrivent aussi une méthode consistant à injecter du contenu dans la conversation. L’objectif serait alors de repousser n* au-delà de la longueur de la réponse. Selon les chercheurs, l’entraînement d’alignement peut déplacer ou supprimer le basculement pour certaines invites. Ils estiment toutefois que cet entraînement ne supprime pas le mécanisme sous-jacent. L’étude complète est disponible dans Patterns et le préprint. Pour aller plus loin, consultez notre guide sur déployer un chatbot IA pour le service client.