VoiceEQ de HumeAI : l'IA vocale jugée par 1M d'évaluations

HumeAI a lancé le Real World VoiceEQ, une nouvelle référence pour évaluer la qualité humaine des interactions vocales d’intelligence artificielle (IA). Le benchmark évalue plus de 40 modèles vocaux sur plus de 60 critères, employant un million de notations humaines recueillies à travers diverses démographies et environnements acoustiques. Il offre un cadre pour apprécier les nuances acoustiques souvent omises par les transcriptions traditionnelles, comme l’émotion et l’identité du locuteur. Source.

Contrairement aux précédents benchmarks saturés en termes de latence et de taux d’erreurs de mots, Real World VoiceEQ évalue les capacités spécifiques des systèmes vocaux à comprendre et à répondre naturellement aux informations audios. Cette nouvelle évaluation met en évidence la spécialisation croissante dans le domaine de l’IA vocale, où chaque système optimise différemment ses points forts comme la précision technique ou la compréhension émotionnelle.

Les données de Real World VoiceEQ révèlent que, bien que la reconnaissance vocale soit en progression, elle néglige souvent des indices paralinguistiques essentiels qui sont naturellement utilisés par les humains pour détecter l’empathie, la confiance ou l’incertitude. Par exemple, une simple réponse comme