Tests IA : aucun pelicanmaxxing détecté par Castillo

Dylan Castillo a mené une étude rigoureuse pour explorer le phénomène intriguant du ‘pelicanmaxxing’ au sein des laboratoires d’IA. Ce terme décrit une hypothèse où les modèles d’IA seraient spécialement formés pour exceller dans la génération d’images de pélicans sur des vélos. Pour tester cette idée, Castillo a exécuté 48 prompts spécifiques à travers sept modèles IA, incluant des noms reconnus tels que GPT-5.6 Terra et Claude Sonnet 5.

L’approche méthodique de Dylan Castillo impliquait la répétition de chaque prompt trois fois pour garantir la fiabilité des résultats. Il a utilisé des évaluateurs basés sur l’IA elle-même, tels que GPT-5.6 Luna et Gemini 3.1 Flash-Lite, pour analyser les sorties. À travers ces tests, il a cherché à voir si les laboratoires avaient effectivement une compétence accrue pour ce type de génération d’image spécifique.

Les résultats montrent que malgré la tentation de croire au pelicanmaxxing, aucun des sept modèles n’a démontré une performance supérieure notable dans la création de pélicans sur vélos par rapport à d’autres combinaisons d’animaux et de véhicules. Le modèle GLM-5.2 a montré une légère amélioration dans cette tâche précise, mais pas suffisamment significative pour conclure à un entraînement ciblé ou biaisé.

Les implications de cette étude sont claires : la précaution est nécessaire lorsqu’il s’agit d’évaluer les capacités des modèles génératifs. Pour les entreprises explorant l’usage de l’IA dans les domaines créatifs ou visuels, il est crucial de comprendre que les modèles actuels peuvent ne pas avoir de biais intentionnellement implémentés pour des tâches aussi spécifiques.

Pour les PMEs françaises, ce rapport rappelle que bien que les modèles IA soient puissants, leur application nécessite un réglage et un ajustement en fonction du contexte spécifique. Cette étude incite les dirigeants à aborder avec scepticisme les affirmations non vérifiées sur les capacités exceptionnelles des modèles IA.

Pour une lecture plus approfondie, vous pouvez consulter les détails de l’étude et l’analyse claire sur le site de Simon Willison dans son article entier sur le pelicanmaxxing.