Apple dévoile DiscoSign pour traduire l’anglais en ASL

Apple publie DiscoSign Apple présente DiscoSign, une approche informatique de traduction du texte vers des glosses en langue des signes. La publication paraît en septembre 2026 dans le cadre de la conférence EMNLP. Le système cible l’American Sign Language, ou ASL, à partir de textes en anglais. Les auteurs sont Vasileios Baltatzis, Mert Inan, Connor Gillis, Raja Kushalnagar, Lorna Quandt, Leah Findlater et Colin Lea. Baltatzis et Inan ont contribué à parts égales. L’article est disponible sur la page de recherche d’Apple et sur arXiv. Apple classe ce travail dans l’accessibilité ainsi que dans le traitement de la parole et du langage naturel.

Les phrases restent insuffisantes Les systèmes de traitement des langues signées fonctionnent traditionnellement au niveau de la phrase. Cette approche ignore des phénomènes de discours importants pour la compréhension d’une langue des signes. DiscoSign organise donc sa traduction autour de plusieurs phrases liées. Son architecture repose sur un cadre modulaire utilisant de grands modèles de langage. Le projet traite le discours comme une unité complémentaire à la phrase. Cette orientation concerne la traduction vers des glosses, qui représentent les signes sous une forme textuelle. La publication ne décrit pas une génération directe de vidéos signées. Elle établit plutôt un cadre de traduction et d’évaluation pour la cohérence entre plusieurs phrases.

DiscoSign traite trois phénomènes

Trois mécanismes structurent l’approche Le premier concerne la résolution de la coréférence spatiale. Les entités conservent des emplacements spatiaux cohérents pendant le discours. Le deuxième concerne les clauses question-réponse, appelées QACs. Ces structures de type pseudo-clivées remplissent des fonctions discursives spécifiques. Le troisième mécanisme vise la cohérence concept-glosse. Il maintient des correspondances stables entre les concepts anglais et les signes de l’ASL. Ces trois dimensions forment le cœur du cadre proposé par DiscoSign. Elles traduisent des propriétés linguistiques que les systèmes limités à chaque phrase peuvent négliger. Le dispositif reste modulaire, car chaque phénomène reçoit un traitement dédié dans le processus de traduction.

Une évaluation dédiée complète les tests Les auteurs introduisent une série de nouvelles métriques pour évaluer chaque dimension de la cohérence discursive. Les métriques traditionnelles de traduction ne capturent pas suffisamment la qualité au niveau du discours. Les expériences utilisent des jeux de données au niveau de la phrase et du discours. Les résultats montrent une amélioration significative de la cohérence spatiale et du suivi des entités par rapport à une traduction limitée aux phrases. La qualité de traduction d’une phrase isolée reste compétitive. DiscoSign associe ainsi une évaluation dédiée aux phénomènes traités et une comparaison avec la traduction phrase par phrase. L’article présente cette combinaison comme un cadre systématique pour le domaine.

Les résultats distinguent deux niveaux

Le discours devient une mesure DiscoSign établit, selon ses auteurs, le premier cadre systématique consacré à la traduction texte-glosse au niveau du discours. Ce cadre comprend une méthode de traitement et une méthodologie d’évaluation correspondante. Les expériences séparent explicitement les jeux de données de phrases et de discours. Elles mesurent la cohérence spatiale, le suivi des entités et la qualité des glosses sur une phrase. Les résultats favorisent le traitement sensible au discours pour la cohérence spatiale et le suivi des entités. La qualité sur une phrase isolée demeure compétitive. Le travail relie donc des phénomènes linguistiques précis à des métriques conçues pour les évaluer, plutôt qu’à une seule mesure générale de traduction.