多语言无词汇手语翻译：迈向手语基础模型
计算与语言
2025-06-02 v1
摘要
手语翻译（SLT）旨在将手语（SL）视频转换为口语文本，从而弥合手语社区与口语社区之间的沟通鸿沟。虽然现有工作大多集中于将单一手语翻译为单一口语（一对一SLT），但利用多语言资源可以缓解低资源问题并增强可及性。然而，由于手语与口语之间存在语言冲突和对齐困难，多语言手语翻译（MLSLT）仍未被探索。为应对这些挑战，我们提出了一种具有双重CTC目标的多语言无词汇模型，用于词级别的手语识别和口语文本生成。我们的模型支持10种手语，并处理一对一、多对一和多对多SLT任务，在三个广泛采用的基准数据集（多语言SP-10、PHOENIX14T和CSL-Daily）上取得了与最先进方法相媲美的性能。
引用
@article{arxiv.2505.24355,
title = {Multilingual Gloss-free Sign Language Translation: Towards Building a Sign Language Foundation Model},
author = {Sihan Tan and Taro Miyazaki and Kazuhiro Nakadai},
journal= {arXiv preprint arXiv:2505.24355},
year = {2025}
}