硕士论文：基于分词学习的神经手语翻译
计算与语言
2020-11-19 v1
摘要
在本论文中，我们提出一种基于多任务学习的方法来改进神经手语翻译（NSLT），该方法由两部分组成：一个分词层与神经机器翻译（NMT）。分词部分关注手语（SL）视频应如何表示以输入另一部分。此前尚未被详尽研究，而 NMT 研究已吸引众多研究者并贡献了巨大进展。迄今为止，存在两种主要输入分词层级，即帧级与词元级（gloss-level）分词。词元（glosses）是类词的中间表示，且为手语所特有。因此，我们旨在开发一个通用的符号级分词层，使其无需额外工作即可应用于其他领域。我们首先调研当前的分词方法，并通过若干实验阐明其缺陷。为提供解决方案，我们将迁移学习、多任务学习与无监督域适应引入本研究以利用额外监督。我们成功实现了手语间的知识迁移，并将翻译质量在 BLEU-4 上提升 5 个点、在 ROUGE 分数上提升 8 个点。其次，我们通过所有分词方法中的广泛实验展示了身体部位的影响。除此之外，我们采用 3D-CNNs 以提升时间与空间效率。最后，我们讨论了符号级分词相对于词元级分词的优势。总而言之，我们提出的方法通过利用弱监督源提供额外监督，消除了为获得更高分数而对词元级标注的需求。
引用
@article{arxiv.2011.09289,
title = {Master Thesis: Neural Sign Language Translation by Learning Tokenization},
author = {Alptekin Orbay},
journal= {arXiv preprint arXiv:2011.09289},
year = {2020}
}
备注
MS Thesis Extension of the Paper with the same name