基于语言无关句子嵌入监督的多语言手语翻译
计算与语言
2025-10-23 v1
摘要
手语翻译 (SLT) 通常使用单一语言的文本进行训练，这限制了其可扩展性和跨语言泛化。早期方法用文本基句子嵌入取代gloss 监督，但这些嵌入至今仍局限于特定语言和模态。相反，本文采用在文本和语音中训练的多语言、模态无关嵌入来监督 SLT，实现直接的多语言翻译。为解决数据稀缺问题，我们提出了一种耦合增强方法，将多语言目标增强（即翻译成多种语言）与视频级扰动相结合，提高了模型的鲁棒性。实验表明，与文本唯一句子嵌入监督相比，我们的方法在 BLEURT 指标上 consistently 获得提升，尤其在低资源设置下提升更为显著。我们的結果表明，语言无关嵌入监督结合耦合增强，为传统 SLT 训练提供了一个可扩展且语义上稳健的替代方案。
引用
@article{arxiv.2510.19398,
title = {SONAR-SLT: Multilingual Sign Language Translation via Language-Agnostic Sentence Embedding Supervision},
author = {Yasser Hamidullah and Shakib Yazdani and Cennet Oguz and Josef van Genabith and Cristina España-Bonet},
journal= {arXiv preprint arXiv:2510.19398},
year = {2025}
}