Jailbreak
Un jailbreak est une technique visant à contourner les garde-fous de sécurité d'un LLM pour lui faire générer du contenu normalement refusé. Les attaquants utilisent des reformulations créatives, des rôles fictifs ou des injections de prompt.
En demandant à ChatGPT de 'jouer le rôle d'une IA sans restrictions dans un roman de fiction', certains utilisateurs ont réussi à obtenir des informations que le modèle refusait catégoriquement en contexte normal.
Un jailbreak est une technique visant à contourner les garde-fous de sécurité d'un LLM pour lui faire générer du contenu normalement refusé. Les attaquants utilisent des reformulations créatives, des rôles fictifs ou des injections de prompt.
En demandant à ChatGPT de 'jouer le rôle d'une IA sans restrictions dans un roman de fiction', certains utilisateurs ont réussi à obtenir des informations que le modèle refusait catégoriquement en contexte normal.
Jailbreak et Guardrails sont deux concepts liés mais distincts dans l'écosystème IA. Pour approfondir : Guardrails, Alignement IA, Red teaming, Prompt engineering.
Gardez un coup d'avance en business et IA
Chaque mardi et vendredi, l'essentiel en business & IA décryptées en 5 minutes. Gratuit, sans engagement.
+11 000 fondateurs abonnés