Apple repère les changements de langue dans la parole

Apple présente une méthode légère pour détecter l’alternance entre langues directement dans la parole. Cette alternance, appelée code-switching, apparaît lorsqu’un locuteur change de langue au sein d’une même phrase. Les chercheurs Jie Chi, Zakaria Aldeneh, Masha Fedzechkina, Maureen de Seyssel et Natalie Schluter décrivent cette approche dans un article publié en octobre 2026. Leur méthode vise à repérer les énoncés multilingues dans de grandes collections vocales. Elle évite de dépendre d’une transcription multilingue préalable. Apple détaille la méthode dans sa publication de recherche sur son site. L’article est également disponible sur arXiv.

Les corpus restent peu représentatifs de l’alternance linguistique, car les données de préentraînement contiennent relativement peu d’exemples de ce phénomène. Pour augmenter cette couverture, il faut identifier les énoncés concernés dans de vastes collections de parole. Une première approche consiste à transcrire chaque enregistrement, puis à rechercher les changements de langue dans le texte. Cette procédure dépend toutefois de transcriptions multilingues suffisamment précises. Les auteurs proposent donc une détection réalisée directement depuis le signal vocal. Leur méthode exploite les informations linguistiques présentes à chaque trame dans des encodeurs de parole préentraînés. Elle cherche ainsi les deux langues au sein d’un même énoncé.

Les encodeurs repèrent les langues

Les chercheurs isolent des dimensions sélectives dans les états cachés des encodeurs. Ils utilisent pour cela des enregistrements monolingues. Ces enregistrements servent à identifier les dimensions qui répondent particulièrement à une langue donnée. Les activations de ces dimensions sont ensuite agrégées au niveau des trames. Cette agrégation produit une prédiction d’alternance linguistique pour chaque énoncé. Une petite collection d’exemples de code-switching sert à régler la règle de décision. La méthode n’entraîne donc pas un nouveau grand modèle vocal. Elle réutilise les représentations déjà produites par un encodeur préentraîné. Les auteurs indiquent que ces représentations contiennent déjà les informations nécessaires pour reconnaître les énoncés alternant entre deux langues.

Whisper-small obtient les meilleurs résultats parmi les méthodes comparées dans l’évaluation CS-FLEURS. Sur 14 paires de langues, son score F1 moyen atteint 0,798. Un réseau convolutif entraîné pour identifier les langues obtient 0,776. Une référence linéaire fondée sur HuBERT atteint 0,751. Ces résultats comparent la méthode proposée à deux approches utilisant l’identification linguistique monolingue. Le score F1 combine la précision et le rappel pour mesurer la détection. L’évaluation porte donc sur la capacité à repérer les énoncés concernés, plutôt que sur la transcription de leur contenu. Les chiffres rapportés concernent précisément l’ensemble CS-FLEURS et les 14 paires évaluées.

La méthode cible les collections vocales

L’outil proposé sert à sélectionner des données destinées à enrichir des corpus multilingues. Les collections vocales peuvent ainsi être filtrées avant leur intégration dans un entraînement. Cette utilisation répond directement au problème posé par la faible représentation du code-switching dans les corpus de préentraînement. La méthode intervient avant la transcription détaillée, puisqu’elle détermine d’abord si plusieurs langues apparaissent dans un énoncé. Les auteurs présentent cette approche comme légère, car elle s’appuie sur un encodeur existant et sur une petite collection de réglage. Leur conclusion est que les encodeurs de parole préentraînés encodent déjà une information linguistique exploitable pour cette tâche spécifique.