通过目标双向一致性正则化神经机器翻译
计算与语言
2018-11-14 v2
摘要
尽管神经机器翻译（NMT）在过去几年中取得了显著进展，但大多数 NMT 系统仍与其他序列生成任务一样存在一个根本性缺陷：生成过程中早期产生的错误会作为模型输入被反馈，并可能迅速放大，损害后续的序列生成。为解决此问题，我们提出了一种用于 NMT 训练的新型模型正则化方法，旨在提高由左到右（L2R）和右到左（R2L）NMT 解码器生成的译文之间的一致性。该目标通过向 NMT 训练目标中引入两个 Kullback-Leibler 散度正则化项来实现，以减小 L2R 与 R2L 模型输出概率之间的不匹配。此外，我们还采用联合训练策略，使 L2R 和 R2L 模型在交互更新过程中相互提升。实验结果表明，我们提出的方法在汉英和英德翻译任务上显著优于最先进的基线系统。
引用
@article{arxiv.1808.04064,
title = {Regularizing Neural Machine Translation by Target-bidirectional Agreement},
author = {Zhirui Zhang and Shuangzhi Wu and Shujie Liu and Mu Li and Ming Zhou and Tong Xu},
journal= {arXiv preprint arXiv:1808.04064},
year = {2018}
}
备注
Accepted by AAAI 2019