从手语到口语的机器翻译：研究现状与挑战
摘要
从手语到口语的自动翻译是一个跨学科研究领域，位于计算机视觉、机器翻译与语言学三者交汇处。然而，该领域的研究大多由计算机科学家孤立地进行。随着该领域日益受到关注——关于手语翻译主题的科学论文绝大多数发表于过去三年——我们提供了研究现状的综述以及不同相关学科所需的一些背景知识。我们对手语语言学和机器翻译进行了高层介绍，以阐明自动手语翻译的需求。我们进行了系统的文献综述以展示该领域的研究现状，随后回到这些需求，提出未来研究的若干挑战。我们发现，在口语机器翻译研究的基础上已取得显著进展。然而，当前方法往往缺乏语言学动机，或未适应手语不同的输入模态。我们探讨了与手语数据表示、数据集收集、跨学科研究需求以及从研究走向应用相关的挑战。基于我们的发现，我们倡导跨学科研究，并将未来研究建立在对各手语的语言学分析之上。此外，在手语翻译应用的使用场景识别、数据收集与评估中，纳入聋人和听力正常的最终用户至关重要，这对于创建有用的手语翻译模型极为重要。我们建议采用迭代的、人在回路的手语翻译模型设计与开发。
引用
@article{arxiv.2202.03086,
title = {Machine Translation from Signed to Spoken Languages: State of the Art and Challenges},
author = {Mathieu De Coster and Dimitar Shterionov and Mieke Van Herreweghe and Joni Dambre},
journal= {arXiv preprint arXiv:2202.03086},
year = {2023}
}
备注
This is the version of the article submitted to peer review to Universal Access in the Information Society. Please refer to "De Coster, M., Shterionov, D., Van Herreweghe, M. et al. Machine translation from signed to spoken languages: state of the art and challenges. Univ Access Inf Soc (2023)." for the published and updated version