面向非自回归翻译的渐进式多粒度训练
计算与语言
2021-06-14 v2
摘要
非自回归翻译(NAT)通过预测整个目标序列显著加速了推理过程。然而，近期研究表明 NAT 不擅长学习诸如一对多翻译等高阶知识。我们认为这些模式可划分为不同粒度，并能够从易到难地学习。在本研究中，我们实证表明，与句子相比，NAT 模型更容易学习细粒度的低阶知识，如词和短语。基于该观察，我们提出了面向 NAT 的渐进式多粒度训练。更具体地，为充分利用训练数据，我们将句子级样本拆分为三种类型，即词、短语、句子，并随着训练推进逐步增加粒度。在罗马尼亚语-英语、英语-德语、汉语-英语和日语-英语上的实验表明，我们的方法提升了短语翻译准确率和模型重排序能力，从而相较强大的 NAT 基线取得了更好的翻译质量。此外，我们表明更具确定性的细粒度知识可进一步提升性能。
引用
@article{arxiv.2106.05546,
title = {Progressive Multi-Granularity Training for Non-Autoregressive Translation},
author = {Liang Ding and Longyue Wang and Xuebo Liu and Derek F. Wong and Dacheng Tao and Zhaopeng Tu},
journal= {arXiv preprint arXiv:2106.05546},
year = {2021}
}
备注
ACL 2021, Short Findings