Google dévoile StreamVibe, l’agent qui sait quand intervenir

Google présente StreamVibe comme un agent vidéo capable de décider seul quand prendre la parole. Le projet réunit des chercheurs de Google, Stanford, Oxford et plusieurs universités américaines. L’assistant observe l’utilisateur pendant une tâche. Il intervient uniquement lorsqu’une aide semble nécessaire. StreamVibe distingue les intentions explicitement formulées, celles qui restent implicites et celles qui évoluent durant l’action. Cette capacité vise à comprendre ce qui se passe à chaque instant. Elle doit aussi permettre de reconnaître le moment où une intervention devient utile. Google a présenté cette approche dans un travail de recherche consacré aux assistants vidéo capables d’interagir de manière proactive.

Un repère de 4 100 exemples structure l’évaluation du système. L’équipe de recherche l’a constitué à partir de plus de 183 heures de scènes de vie quotidienne et d’enregistrements de logiciels. Ces exemples servent à examiner les décisions d’intervention prises par un assistant vidéo. Le système doit notamment suivre une tâche et tenir compte d’instructions qui changent. Jonathan Kemper estime que les assistants vidéo existants interprètent difficilement les demandes vagues. Selon lui, ils répètent souvent leurs conseils ou répondent trop tard. Les travaux sont présentés dans l’article de recherche, avec une démonstration publiée sur le site de StreamVibe.

StreamVibe mesure le bon moment

StreamVibe-VL progresse de 10,7 % sur le timing et la qualité des réponses par rapport aux autres modèles. Ce résultat concerne la capacité à choisir une réponse adaptée au moment observé. Le système comprend aussi les intentions déclarées, non dites et changeantes. Cette distinction vise les tâches qui évoluent pendant leur exécution. Les chercheurs ont également conçu un système de mémoire dédié à StreamVibe. Son objectif est d’augmenter de 12,3 % l’interaction proactive. L’assistant ne se limite donc pas à analyser une image isolée. Il combine l’observation de la vidéo et le suivi des éléments utiles à l’intervention.

Les modèles prennent parfois la bonne décision à des moments précis, selon Jonathan Kemper. Leur performance baisse toutefois lorsqu’ils doivent traiter des vidéos entières, ajoute-t-il. Les vidéos de plus de cinq minutes posent notamment des difficultés pour synchroniser les réponses et suivre des instructions modifiées. Ces limites concernent le calendrier des interventions et la continuité du suivi. Le repère de 4 100 exemples fournit ainsi un cadre de comparaison pour StreamVibe-VL. Les résultats mesurent déjà un gain de 10,7 % sur les modèles comparés. Le système de mémoire ajoute un objectif d’amélioration de 12,3 % pour les interactions proactives.

Google étend l’analyse vidéo

Gemini reçoit une analyse agentique de la vidéo depuis septembre, selon Google. StreamVibe s’inscrit dans cette direction avec un assistant qui observe une activité et choisit quand parler. Le projet associe Google à Stanford, Oxford et plusieurs universités américaines. Les chercheurs évaluent le modèle sur des scènes quotidiennes et des enregistrements de logiciels. StreamVibe distingue les demandes explicites des besoins implicites et des changements d’intention. Cette architecture vise une aide moins automatique dans son déclenchement. Les travaux restent centrés sur la décision d’intervention, le suivi des instructions et la mémoire nécessaire aux interactions proactives. Le projet complet est accessible sur la page de recherche de StreamVibe.