# TwelveLabs donne aux robots une vue à la première personne

> TwelveLabs lance Pegasus 1.6, un modèle qui segmente les actions vidéo, suit les interactions et prépare des données pour la robotique.

Type : Actualité IA · Catégorie : Outils · Publié le 2026-10-12 · Signal IA - Order & Chaos · Secteur : Industrie
Source : https://www.orderchaos.eu/signal-ia/actu/pegasus-16-de-twelvelabs-transforme-la-video-pour-les-robots
Tags : robotique, vidéo, ia physique, données, industrie, raisonnement

---

## En résumé

- TwelveLabs lance Pegasus 1.6 pour comprendre des vidéos tournées depuis le point de vue d’un opérateur.
- Le modèle prend en charge cinq workflows, dont la segmentation des actions et le contrôle de conformité.
- Pegasus 1.6 complète les capteurs des robots sans remplacer leurs systèmes tactiles ou leurs actionneurs.

**Le signal :** Pegasus 1.6 de TwelveLabs prend en charge cinq workflows pour transformer des vidéos egocentriques en données d’entraînement robotique.

**Lancement officiel.** TwelveLabs a lancé Pegasus 1.6 le 12 octobre 2026 pour comprendre des vidéos de situations réelles. L’entreprise présente cette version comme son premier modèle conçu pour les vidéos égocentriques. Ces séquences sont filmées depuis le point de vue de la personne qui réalise une tâche. Elles peuvent montrer une préparation de repas, un assemblage sur une ligne d’usine ou le pilotage distant d’un robot. Pegasus 1.6 fournit un contexte temporel, un [raisonnement](/signal-ia/actu/arm-presente-a-robobusiness-sa-methode-pour-fiabiliser-lia) spatial et un jugement sur la réalisation d’une tâche. TwelveLabs affirme ainsi vouloir convertir des séquences brutes en connaissances structurées et vérifiables pour les équipes de robotique et d’IA physique. [Lire l’article original](https://www.therobotreport.com/pegasus-1-6-brings-video-understanding-physical-ai-says-twelvelabs/).

**Une couche vidéo.** Jae Lee, cofondateur et directeur général de TwelveLabs, décrit le produit comme une couche de compréhension vidéo pour la [robotique](/signal-ia/actu/capgemini-et-intel-devoilent-dexterity-le-robot-ia-local). Selon lui, une vidéo ne devient pas automatiquement une donnée d’entraînement exploitable. Il faut identifier l’action, son moment, les objets manipulés, l’évolution du comportement et l’apparition de personnes dans le champ. Pegasus 1.6 segmente donc les actions avec précision et décrit les interactions entre les mains et les objets. Le modèle peut utiliser des vidéos existantes et analyser des images fixes. TwelveLabs indique aussi qu’il ne nécessite ni caméra particulière ni matériel propriétaire pour capturer ces séquences depuis le point de vue de l’opérateur.

## Pegasus 1.6 structure cinq workflows

**Cinq usages principaux.** Pegasus 1.6 prend en charge cinq workflows destinés aux données vidéo de robotique. La segmentation et l’étiquetage des actions produisent des repères temporels pour les tâches, étapes, objets et interactions main-objet. Le légendage dense génère des descriptions des relations spatiales, du contexte de scène et des interactions. Le score de qualité évalue la clarté de l’action, le cadrage et la stabilité avant une revue humaine. La recherche et la curation repèrent les événements rares, les scénarios atypiques et les doublons avec des requêtes en langage naturel. Enfin, le signalement de consentement détecte les visages, les passants et les données sensibles visibles.

**Des capacités étendues.** Pegasus 1.6 prolonge des fonctions développées pour les entreprises disposant de grandes bibliothèques vidéo. Pegasus 1.5 avait notamment attiré de nouveaux clients, selon TwelveLabs. La fonction Time-Based Metadata permet de définir un schéma personnalisé et de recevoir automatiquement des métadonnées structurées avec horodatage. La nouvelle version améliore aussi la reconnaissance des entités, notamment pour suivre les mains, les objets et les outils entre plusieurs séquences. TwelveLabs annonce un traitement plus rapide et plus économique pour les volumes vidéo élevés. L’entreprise présente également ses modèles Marengo et Pegasus au sein d’une plateforme complète d’intelligence vidéo. [Voir Pegasus chez TwelveLabs](https://www.twelvelabs.io/pegasus).

## Les robots gardent leurs capteurs

**Un rôle complémentaire.** Jae Lee précise que Pegasus 1.6 ne remplace pas les [capteurs](/signal-ia/actu/ultrasense-dote-les-robots-dun-toucher-ultrasonore) tactiles ni les actionneurs des robots. Le modèle identifie l’action en cours, la découpe dans le temps et suit les mouvements des mains gauche et droite. Il fournit également une compréhension générale du déplacement des membres et des changements de l’environnement. Les équipes peuvent combiner ces observations avec leurs propres données de capteurs pour construire des trajectoires et des politiques d’apprentissage plus précises. TwelveLabs cite des collaborations avec des laboratoires de robotique et des équipes de données. Les travaux portent notamment sur la dextérité, la manipulation, l’emballage, l’assemblage et le nettoyage.
Pour aller plus loin, consultez notre guide sur [déployer un chatbot IA pour le service client](/signal-ia/guides/chatbot-ia-service-client-pme-2026).
