基于一致性的双向注意力神经机器翻译联合训练
计算与语言
2016-04-25 v2
摘要
注意力机制已被证明能有效改进端到端神经机器翻译。然而，由于自然语言间复杂的结构差异，单向基于注意力的模型可能仅捕捉到注意力规律的部分方面。我们提出了用于双向基于注意力的端到端神经机器翻译的基于一致性的联合训练。我们的方法不再独立训练源到目标和目标到源的翻译模型，而是鼓励两个互补模型在相同训练数据上就词对齐矩阵达成一致。在中英和英法翻译任务上的实验表明，相较于独立训练，基于一致性的联合训练显著提升了词对齐与翻译质量。
引用
@article{arxiv.1512.04650,
title = {Agreement-based Joint Training for Bidirectional Attention-based Neural Machine Translation},
author = {Yong Cheng and Shiqi Shen and Zhongjun He and Wei He and Hua Wu and Maosong Sun and Yang Liu},
journal= {arXiv preprint arXiv:1512.04650},
year = {2016}
}
备注
Accepted for publication in IJCAI 2016