GPT-4 rivalise avec des étudiants en messages de phishing

Une étude récente menée à Brigham Young University a testé l’efficacité des messages de phishing générés par GPT-4 comparativement à ceux créés par des étudiants en cybersécurité. Les résultats montrent que le modèle IA a généré des messages qui ont induit les participants en erreur presque autant que ceux des étudiants, avec 28% des messages IA susceptibles de provoquer un clic contre 21.3% pour les messages écrits par les humains.

Contexte et méthodologie de l’étude : chaque participant a reçu des messages personnalisés basés sur des informations personnelles fournies via un sondage. Les étudiants, formés à la cybersécurité, ont rédigé leurs messages sous contrainte de temps. En comparaison, GPT-4 a produit des messages via un modèle simple et standardisé. Les messages liés au travail ont été les plus efficaces pour tromper les participants, atteignant un taux de clic potentiel de 38%.

Messages de travail plus efficaces

Les messages professionnels ont trompé les participants 38% du temps, prouvant leur efficacité supérieure par rapport aux messages basés sur des loisirs ou des médias sociaux. Les erreurs de personnalisation ont cependant exposé des failles, comme l’inexistence d’un collègue mentionné dans le message, devenant un signe révélateur pour les destinataires.

Un système d’IA a réussi à distinguer entre messages humains et IA avec une précision de 88,7%, surpassant les jugements humains influencés par des biais d’instinct. Cela démontre le potentiel des outils de détection automatique, bien qu’ils demeurent limités par les modèles initiaux sur lesquels ils sont formés.

Detection IA vs humaine

Dans cette expérience, la différence dans la détection reste faible mais signification pour améliorer les stratégies de cybersécurité futures. Même si les participants n’ont pu faire mieux qu’une chance aléatoire, le modèle d’apprentissage machine a démontré sa capacité à identifier les motifs en excès chez les textes IA, ce qui reste inaperçu pour l’œil humain.

Pour plus de détails sur l’étude et ses implications, vous pouvez consulter l’article original sur Help Net Security.