面向手语 gloss 翻译的数据增强
计算与语言
2021-05-18 v1
摘要
手语翻译（SLT）常分解为视频到 gloss 的识别与 gloss 到文本的翻译，其中 gloss 是按签署顺序转写的口语词序列。我们此处关注 gloss 到文本的翻译，将其视为低资源神经机器翻译（NMT）问题。然而，不同于传统低资源 NMT，gloss 到文本翻译的差异在于 gloss-文本对往往比口语对具有更高的词汇重叠与更低句法重叠。我们利用此词汇重叠并通过提出两种基于规则的启发式方法处理句法分歧，这些方法从单语口语文本生成伪并行 gloss-文本对。通过在由此获得的合成数据上预训练，我们将美国手语（ASL）到英语以及德国手语（DGS）到德语的翻译分别提升了至多 3.14 和 2.20 BLEU。
引用
@article{arxiv.2105.07476,
title = {Data Augmentation for Sign Language Gloss Translation},
author = {Amit Moryossef and Kayo Yin and Graham Neubig and Yoav Goldberg},
journal= {arXiv preprint arXiv:2105.07476},
year = {2021}
}
备注
4 pages, 1 page abstract