NVIDIA rassemble quatre fonctions audio dans Nemotron 3.5

NVIDIA lance Nemotron 3.5 Transcribe, un modèle à poids ouverts disponible sur Hugging Face et ModelScope. Il réunit transcription, attribution des locuteurs, traduction et questions-réponses audio dans un seul point de contrôle. Le modèle traite 40 langues, puis traduit 31 d’entre elles vers ou depuis l’anglais. Il attribue les prises de parole dans 13 langues. Il accepte des enregistrements allant jusqu’à une heure et identifie au maximum huit locuteurs. Les développeurs peuvent guider la sortie avec des instructions en langage naturel. Ils peuvent aussi choisir le lieu de traitement audio et adapter la reconnaissance aux accents ou au vocabulaire métier. NVIDIA présente ainsi un outil conçu pour produire différents formats depuis un même enregistrement.

Les instructions modifient directement le résultat demandé. Une consigne peut produire une transcription avec étiquettes de locuteurs, une traduction anglaise ou une réponse sur les décisions prises pendant une réunion. Le modèle prend également en charge les horodatages au niveau des mots. NVIDIA recommande de vérifier les noms, les changements de locuteur et les réponses audio contre l’enregistrement. Dans une démonstration avec His Girl Friday, le système traite des dialogues rapides et superposés. Agora a utilisé les horodatages pour afficher la transcription d’un cours à côté de sa rediffusion. Le modèle reste destiné aux enregistrements, et non à la diffusion audio en direct. La publication de NVIDIA sur Hugging Face détaille les consignes et les cas d’usage.

Nemotron domine plusieurs classements

Les résultats placent Nemotron 3.5 Transcribe en tête des modèles à poids ouverts sur plusieurs évaluations. Le classement Open ASR de Hugging Face lui attribue un WER moyen de 5,33 % en anglais. Il atteint aussi 4,62 % sur sept langues et 10,98 % sur les formats longs, les meilleurs scores de la comparaison présentée dans sa fiche. Artificial Analysis le place à égalité en tête des modèles ouverts, avec 2,8 % d’AA-WER et environ 4 milliards de paramètres actifs. Sur le jeu AA-AgentTalk, il obtient 1,8 % de WER, contre 2,3 % pour le modèle ouvert suivant. Le classement Artificial Analysis compare ces résultats avec les paramètres actifs.

Les locuteurs constituent un autre axe de performance. Sur le classement multilingue DAI-ASR-I18N de David AI, le modèle affiche un taux d’erreur de diarisation de 18,26 % sur 21 langues. Il devance légèrement Nemotron 3 Diarization, mesuré à 18,38 %. Sur VoiceArena Diarization-Bench, il obtient le meilleur cpWER parmi 14 systèmes, avec 32,4 %. Les suppressions représentent 8,32 % des mots de référence, contre une médiane proche de 31 %. Son architecture associe un encodeur vocal à un modèle de langage hybride Mamba-Transformer à experts multiples. Environ 4 milliards de paramètres actifs sont utilisés par jeton, sur 30 milliards au total. La méthodologie VoiceArena précise le périmètre de cette évaluation.

Granary v2 structure les données

Granary v2 fournit les données et la chaîne de préparation associées à Nemotron 3.5 Transcribe. Le manifeste public couvre 463 062 heures, 48 langues et 16 corpus sources. Granary v2 génère trois formes textuelles pour chaque enregistrement. Il conserve une version verbatim, une version normalisée avec disfluences et une version normalisée sans disfluences. La chaîne produit aussi des descriptions audio courtes, des paires de questions-réponses ancrées dans la parole, des termes de biaisage contextuel et des traductions accompagnées de scores automatiques. Ses étapes préparent les fichiers audio, transcrivent les segments, génèrent les étiquettes et appliquent un filtrage haute fidélité. Pour VoxPopuli, ce filtrage a réduit 354 000 heures à 111 000 heures dans 22 langues européennes. Le jeu de données Granary v2 est publié sur ModelScope.

L’adaptation commence avec une consigne précisant la langue, l’alphabet et le format de sortie. Dans une étude de cas, la mention de l’anglais et de l’alphabet latin a réduit le WER du benchmark complet de 30,8 % à 23,8 %. Lorsque des erreurs persistent, les outils NeMo Speech permettent un réglage fin avec des extraits représentatifs et des cibles écrites explicites. Une étude médicale indique que ce réglage a réduit le WER de 45,8 % relativement à la meilleure consigne, sur des locuteurs conservés pour l’évaluation. Les développeurs peuvent exécuter la chaîne Granary avec Ray et NVIDIA Dynamo sur leurs propres enregistrements ou sur des corpus publics autorisés. Les recettes de réglage NeMo Speech documentent ce flux.

Le déploiement peut déjà passer par vLLM pour le point de contrôle disponible. Dans un test, une version NVFP4 à venir a traité 100 heures d’audio en moins de trois minutes sur un GPU NVIDIA RTX PRO 6000 Blackwell Server Edition. La mesure portait sur des extraits de 30 secondes exécutés avec une forte concurrence. NVIDIA prévoit aussi des versions quantifiées. Elles doivent permettre une exécution locale sur RTX Spark, DGX Spark ou Jetson AGX Thor. NeMo-Speech.cpp doit accompagner ces versions pour le déploiement local. Le modèle est donc exploitable sur une infrastructure centralisée avec vLLM, tandis que les options locales annoncées dépendent encore des versions quantifiées à venir.