带纠错机制的神经机器翻译
计算与语言
2020-07-22 v1
摘要
神经机器翻译（NMT）在训练时以先前的真实目标词元为输入来生成下一个目标词元，而在推理时以先前生成的目标词元为输入，这导致训练与推理之间的不一致以及错误传播，并影响翻译准确性。在本文中，我们将纠错机制引入 NMT，以纠正先前生成词元中的错误信息，从而更好地预测下一个词元。具体而言，我们将 XLNet 中的双流自注意力引入 NMT 解码器，其中查询流用于预测下一个词元，同时内容流用于纠正来自先前预测词元的错误信息。我们利用 scheduled sampling 在训练期间模拟预测错误。在三个 IWSLT 翻译数据集和两个 WMT 翻译数据集上的实验表明，我们的方法相对于 Transformer 基线和 scheduled sampling 取得了改进。进一步的实验分析也验证了我们所提出的纠错机制对提升翻译质量的有效性。
引用
@article{arxiv.2007.10681,
title = {Neural Machine Translation with Error Correction},
author = {Kaitao Song and Xu Tan and Jianfeng Lu},
journal= {arXiv preprint arXiv:2007.10681},
year = {2020}
}
备注
Accepted by IJCAI 2020