Apple détecte les changements de langue dans la parole

Apple publie une méthode pour détecter le code-switching directement dans la parole. Le code-switching désigne l’alternance entre plusieurs langues au sein d’un même énoncé. Cette pratique apparaît fréquemment dans les conversations multilingues. Elle reste toutefois sous-représentée dans les corpus utilisés pour le préentraînement. Les chercheurs Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel et Natalie Schluter présentent cette approche dans un article publié en octobre 2026. Leur objectif consiste à repérer les énoncés concernés dans de vastes collections audio. La méthode évite une transcription multilingue préalable. Elle exploite directement les représentations produites par des encodeurs vocaux préentraînés. L’article relève des domaines des méthodes, algorithmes, parole et traitement automatique du langage. Lire la publication d’Apple.

La transcription impose une étape avant la détection de l’alternance linguistique. Cette étape dépend de transcriptions multilingues suffisamment précises. Apple propose donc une détection fondée sur le signal vocal lui-même. Les chercheurs utilisent des informations linguistiques présentes à chaque trame audio. Ils recherchent des dimensions d’états cachés sélectives d’une langue. Ces dimensions sont identifiées à partir d’enregistrements monolingues. Les activations correspondantes sont ensuite agrégées sur l’ensemble de l’énoncé. Une règle de décision produit alors la prédiction de code-switching. Un petit ensemble d’exemples de code-switching sert à régler cette règle. L’approche est ainsi décrite comme légère. Elle cible surtout l’identification d’énoncés à intégrer dans des corpus multilingues plus représentatifs.

Apple exploite les dimensions linguistiques

Whisper-small obtient 0,798 de F1 moyen sur 14 paires de langues dans CS-FLEURS. Cette mesure combine la précision et le rappel des détections. Le résultat dépasse deux références évaluées dans la même étude. Un réseau neuronal convolutif obtient un F1 moyen de 0,776. Une référence linéaire fondée sur HuBERT atteint 0,751. Cette référence est entraînée pour l’identification monolingue des langues. L’écart atteint donc 0,022 point face au réseau convolutif. Il atteint 0,047 point face à la référence HuBERT. Ces résultats concernent une tâche de détection d’énoncés alternant entre deux langues. Ils ne constituent pas une évaluation de transcription automatique. Le protocole s’appuie sur l’encodeur Whisper-small, et non sur une transcription produite par Whisper.

Les encodeurs contiennent déjà des informations utiles à la détection du code-switching, selon les résultats présentés. Les chercheurs observent cette information dans les dimensions sélectives des états cachés. Ces dimensions proviennent d’enregistrements monolingues utilisés pour leur identification. L’agrégation des activations transforme ensuite les signaux au niveau des trames en prédiction d’énoncé. La procédure nécessite seulement un petit ensemble de code-switching pour régler la décision. Elle ne décrit donc pas un entraînement complet d’un nouveau modèle de reconnaissance vocale. Elle fournit plutôt un outil de sélection dans de grandes collections audio. Les corpus ainsi filtrés peuvent ensuite inclure davantage d’énoncés multilingues. L’étude relie cette sélection à la construction de données d’entraînement plus représentatives. Consulter la version arXiv.

Le corpus CS-FLEURS compare trois approches

Les résultats portent sur 14 paires de langues évaluées dans CS-FLEURS. Le F1 moyen de Whisper-small s’établit à 0,798. Le réseau convolutif atteint 0,776 dans cette comparaison. La référence linéaire HuBERT atteint 0,751. Les trois scores mesurent la détection du code-switching selon le protocole présenté. L’étude compare donc un encodeur vocal préentraîné à deux approches de référence. La méthode Apple utilise des activations au niveau des trames. Elle agrège ensuite ces activations pour décider si les deux langues apparaissent dans l’énoncé. Le réglage repose sur un petit ensemble de code-switching. Les auteurs associent cette combinaison à un outil léger pour rechercher des exemples pertinents. Leur publication est datée d’octobre 2026. Voir les travaux associés sur le code-switching.