NVIDIA Audex : un modèle unique fusionne audio et texte

NVIDIA dévoile Audex, un modèle de langage multimodal qui intègre à la fois compréhension audio et texte. Ce modèle, dénommé Nemotron-Labs-Audex-30B-A3B, vise à unifier plusieurs capacités telles que la reconnaissance vocale et la traduction en un modèle unique. Il maintient les performances textuelles de son prédécesseur Nemotron-Cascade-2.

Audex s’appuie sur une architecture MoE (Mixture of Experts) pour accomplir sa tâche. Cette approche permet d’exécuter efficacement des opérations complexes en unifiant divers processus, de la conversion texte-parole (TTS) à la génération audio. Même avec ces ajouts, le modèle conserve la qualité du traitement textuel observée sur son socle Nemotron-Cascade-2, n’affichant que des régressions mineures.

Le lancement positionne Audex comme un outil polyvalent dans le domaine de l’intelligence audio et textuelle. Ses capacités avancées en reconnaissance et génération ouvrent de nouvelles perspectives pour les applications nécessitant des interactions vocales fluides et intégrées. Le modèle espère ainsi combler le fossé entre différents formats de données.

Selon la source, ce développement pourrait conduire à des améliorations significatives dans l’efficacité des systèmes d’assistance vocale et des plateformes de traduction. Grâce à ses avancées, Audex pourrait être adopté par divers secteurs nécessitant une intelligence artificielle capable de traiter des données audio et texte simultanément.

Pour plus de détails, voir l’article ici.