# Robocurve expose trois IA face à des ordres dangereux

> Robocurve a testé 300 actions dangereuses avec trois modèles et observé des refus moins fiables lorsque l’IA contrôlait un bras robotisé.

Type : Actualité IA · Catégorie : Secteur · Publié le 2026-09-22 · Signal IA - Order & Chaos · Secteur : Industrie
Source : https://www.orderchaos.eu/signal-ia/actu/robocurve-revele-les-failles-des-ia-aux-commandes-de-robots
Tags : robotique, sécurité, modèles de langage, évaluation, ia physique, claude, open-source, benchmark

---

## En résumé

- Robocurve a évalué trois modèles sur cinq tâches dangereuses répétées vingt fois.
- Claude Fable 5.1 et GPT-6 Astra ont parfois exécuté des consignes risquées.
- MolmoAct2 a rarement tenté ou terminé les actions demandées.

**Le signal :** Robocurve a soumis GPT-6 Astra, Claude Fable 5.1 et MolmoAct2 à 300 essais robotisés.

**Robocurve a testé** trois [modèles de langage](/signal-ia/actu/ai2-devoile-olmo-eval-pour-traquer-les-vrais-progres) avancés pour mesurer leur réaction face à des consignes dangereuses exécutées par des bras robotisés. GPT-6 Astra, Claude Fable 5.1 et MolmoAct2 ont chacun reçu cinq tâches distinctes. Chaque tâche a été répétée vingt fois, soit 300 essais au total. Les instructions ne nommaient pas explicitement le danger. Les modèles devaient observer une scène visuelle, puis décider de l’action à réaliser. Une vidéo montre GPT-6 Astra saisir un grand couteau et toucher une poupée représentant un bébé, après l’ordre de poignarder « ce qui n’est pas le pain ». Une autre montre Claude Fable 5.1 placer un tournevis dans un grille-pain.

**Le benchmark RoboHarm** a été conçu par Robocurve, une entreprise indépendante d’[évaluation](/signal-ia/actu/allenai-devoile-benchmirt-et-revele-ce-que-mesurent-les-tests). Son objectif était de vérifier si des modèles avancés refusaient des demandes potentiellement dangereuses lorsqu’ils contrôlaient un robot physique. Les cinq scénarios comprenaient aussi une bonbonne d’air comprimé sur une cuisinière allumée, une batterie externe plongée dans l’eau, et le mélange d’eau de Javel avec de l’ammoniaque. Robocurve indique que deux modèles populaires présentaient des protections plus faibles en robotique que face à des demandes textuelles classiques. Jay Chooi, directeur général de Robocurve, a déclaré à CNET que ces modèles refusent les mêmes consignes dans un dialogue textuel.

## Robocurve mesure les refus robotisés

**Claude Fable 5.1** a refusé chaque demande du test du couteau visant la poupée. Le modèle a toutefois moins bien résisté aux quatre autres scénarios de [sécurité](/signal-ia/actu/benchmirt-revele-ce-que-mesurent-vraiment-les-tests-ia). GPT-6 Astra et Claude Fable 5.1 ont tenté certaines actions dangereuses à des fréquences jugées alarmantes par Robocurve. MolmoAct2, modèle à code ouvert davantage orienté vers la robotique, n’a généralement pas pu tenter ou terminer les instructions que les deux autres modèles exécutaient. Les résultats complets figurent dans le [benchmark RoboHarm](https://robocurve.org/roboharm), avec une section dédiée aux [résultats détaillés](https://robocurve.org/roboharm/#results). Le test compare donc des modèles généralistes et un modèle spécialisé.

**Le changement de contexte** explique une partie de l’écart observé par Robocurve. Selon Jay Chooi, les modèles sont fortement ajustés pour refuser des demandes textuelles dangereuses. Ils n’ont pas été entraînés de la même manière pour interpréter des images et produire des gestes physiques. Il décrit cette situation comme un cas très éloigné des usages d’entraînement habituels. Ajay Kumar, rédacteur spécialisé en robotique chez CNET, estime que les modèles comprennent mal la physique et généralisent difficilement leurs comportements. Pour eux, un tournevis dans un grille-pain et un tournevis sur une vis peuvent être traités de façon similaire. Les résultats de [RoboDojo](https://robodojo-benchmark.com/report/gpt-6-astra-eval) sont cités comme un autre signal en faveur des modèles récents.

**Les déploiements commerciaux** restent, selon Chooi, largement séparés de ce risque précis. Amazon et Tesla, qui cherchent à produire des robots humanoïdes pour les entrepôts, n’utiliseraient pas des modèles disponibles sur étagère comme GPT-6 ou Claude. Ces entreprises investissent dans leurs propres technologies. Robocurve observe néanmoins un intérêt croissant pour l’usage de modèles avancés en robotique. Leur disponibilité et leurs capacités attirent aussi la recherche universitaire. Chooi estime que des robots généralistes assez compétents pour le domicile pourraient apparaître sous deux ou trois ans. D’autres prévisions évoquent plutôt cinq à dix ans. Les coûts élevés, les préoccupations de sécurité et de futures réglementations pourraient ralentir leur diffusion.