Whisper-small repère l’alternance des langues sans transcription

Une méthode légère publiée en octobre 2026 détecte le code-switching directement dans la parole. Le code-switching désigne l’alternance entre plusieurs langues au sein d’une même phrase ou prise de parole. Les auteurs Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel et Natalie Schluter utilisent des encodeurs vocaux préentraînés. Leur approche cherche la présence de deux langues dans une même séquence. Elle évite donc de dépendre d’une transcription multilingue préalable. Cette étape peut être difficile lorsque la transcription automatique ne reconnaît pas correctement les langues mélangées. L’étude est publiée dans les domaines des méthodes, algorithmes, parole et traitement automatique du langage.

Les corpus sous-représentent souvent les alternances linguistiques pendant leur préentraînement. Pour augmenter leur couverture, il faut repérer les énoncés concernés dans de vastes collections audio. Une méthode classique consiste à transcrire les enregistrements, puis à détecter l’alternance dans le texte obtenu. L’équipe propose plutôt d’examiner directement les représentations produites par un encodeur vocal. Elle exploite des informations linguistiques présentes à chaque trame audio. Les auteurs identifient des dimensions d’états cachés sélectives d’une langue à partir d’enregistrements monolingues. Ils agrègent ensuite les activations par trame afin de produire une prédiction de code-switching. Lire la publication d’Apple.

Whisper-small dépasse deux références

Le meilleur résultat vient de l’encodeur Whisper-small, évalué sur CS-FLEURS. Il atteint un F1 moyen de 0,798 sur 14 paires de langues. Le F1 combine la précision et le rappel pour mesurer la qualité d’une détection. La comparaison inclut un réseau convolutif, ou CNN, qui obtient 0,776. Elle inclut également une référence linéaire HuBERT entraînée pour identifier une langue monolingue, avec un score de 0,751. L’écart atteint donc 0,022 point face au CNN et 0,047 point face à la référence HuBERT. Ces résultats associent l’encodeur Whisper-small à la meilleure performance rapportée dans cette évaluation.

Un petit jeu de données de code-switching sert à régler la règle de décision. La méthode n’entraîne donc pas un nouveau système complet à partir d’un vaste corpus annoté. Elle repère d’abord les activations linguistiques dans les états cachés de l’encodeur. Elle les agrège ensuite au niveau de l’énoncé pour déterminer si les deux langues sont présentes. Les auteurs indiquent que les encodeurs vocaux préentraînés contiennent déjà l’information nécessaire pour identifier ces énoncés. Leur proposition fournit ainsi un outil léger destiné à sélectionner des extraits dans de grandes collections de parole. La publication complète est disponible sur arXiv.

La détection prépare des corpus multilingues

Les corpus représentatifs constituent l’objectif opérationnel présenté par les auteurs. Une détection directe depuis la parole peut sélectionner des énoncés alternant entre deux langues sans exiger une transcription multilingue exacte. Les extraits identifiés peuvent ensuite être inclus dans des données d’entraînement plus adaptées au code-switching. L’étude ne rapporte pas une amélioration directe d’un système de reconnaissance automatique de la parole. Elle évalue une tâche de détection sur CS-FLEURS, avec 14 paires linguistiques. Les travaux associés cités par Apple portent notamment sur la reconnaissance du code-switching mandarin-anglais et sur la traduction de parole anglais-espagnol, mais ils répondent à d’autres tâches.