面向非自回归神经机器翻译的覆盖度建模
计算与语言
2021-04-27 v1
摘要
非自回归神经机器翻译（NAT）通过同时生成所有词元实现了显著的推理加速。尽管效率很高，NAT 通常受两类翻译错误困扰：过翻译（如重复词元）与欠翻译（如漏译），这最终限制了翻译质量。本文中，我们认为 NAT 的这些问题可通过覆盖度建模来解决，后者已在自回归解码中被证明有用。我们提出一种新颖的 Coverage-NAT，通过词级覆盖迭代精炼机制与句级覆盖一致性直接建模覆盖信息，二者分别提醒模型某个源词元是否已被翻译，并改善译文与源文间的语义一致性。在 WMT14 En-De 与 WMT16 En-Ro 翻译任务上的实验结果表明，我们的方法能缓解这些错误并取得相对于基线系统的显著提升。
引用
@article{arxiv.2104.11897,
title = {Modeling Coverage for Non-Autoregressive Neural Machine Translation},
author = {Yong Shan and Yang Feng and Chenze Shao},
journal= {arXiv preprint arXiv:2104.11897},
year = {2021}
}
备注
Accepted by the 2021 International Joint Conference on Neural Networks (IJCNN 2021)