选择与重排序：神经手语生成的新方法
计算与语言
2024-04-18 v1
摘要
手语常被归类为低资源语言，由于缺乏平行标注数据集，面临着实现准确翻译的诸多挑战。本文引入 Select and Reorder（S&R），一种新方法，通过将翻译过程分为两个 distinct 步骤来解决数据稀缺问题：词汇选择（Gloss Selection, GS）和词汇重排序（Gloss Reordering, GR）。本方法利用大型 spoken language models 和 source spoken languages 与 target sign languages 之间的大量词汇重叠，建立初始对齐。两个步骤均使用非自回归（Non-AutoRegressive, NAR）解码，以减少计算量和加快推理速度。通过任务的解耦，我们在 Meine DGS Annotated（mDGS）数据集上实现了 state-of-the-art 的 BLEU 和 Rouge 分数，在文本到词汇（Text to Gloss, T2G）翻译中实现了 BLEU-1 提升 37.88%。这种创新方法为资源受限环境下的手语翻译模型提供了更有效的途径。
引用
@article{arxiv.2404.11532,
title = {Select and Reorder: A Novel Approach for Neural Sign Language Production},
author = {Harry Walsh and Ben Saunders and Richard Bowden},
journal= {arXiv preprint arXiv:2404.11532},
year = {2024}
}
备注
8 Pages, 5 Figures, 7 Tables, LREC-COLING 2024