通过最小化N元词袋差异实现非自回归神经机器翻译
计算与语言
2019-11-22 v1 机器学习
摘要
非自回归神经机器翻译（NAT）通过独立且同时生成目标词实现了显著的解码加速。然而，在非自回归翻译背景下，词级交叉熵损失无法恰当建模目标端序列依赖，导致其翻译质量相关性弱。因此，NAT倾向于生成不流畅且存在过量翻译与欠翻译错误的译文。本文中，我们提出训练NAT以最小化模型输出与参考句之间的N元词袋（BoN）差异。该N元词袋训练目标可微且可高效计算，其鼓励NAT捕捉目标端序列依赖并与翻译质量良好相关。我们在三项翻译任务上验证了方法，结果表明相较NAT基线，我们的方法在WMT14 EnDe上大幅提升约5.0 BLEU分数，在WMT16 EnRo上提升约2.5 BLEU分数。
引用
@article{arxiv.1911.09320,
title = {Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation},
author = {Chenze Shao and Jinchao Zhang and Yang Feng and Fandong Meng and Jie Zhou},
journal= {arXiv preprint arXiv:1911.09320},
year = {2019}
}
备注
AAAI 2020