基于键值记忆增强注意力的神经机器翻译
计算与语言
2018-07-02 v1
摘要
尽管近年来基于注意力的神经机器翻译 (NMT) 取得了显著进展，但仍存在翻译重复与漏译的问题。为缓解这些问题，我们提出了一种用于 NMT 的新型键值记忆增强注意力模型，称为 KVMEMATT。具体而言，我们维护一个及时更新的键记忆以跟踪注意力历史，以及一个固定的值记忆以在整个翻译过程中存储源句的表示。通过两个记忆之间的非平凡变换与迭代交互，解码器在每个解码步聚焦于更合适的源词以预测下一个目标词，从而能够改善翻译的充分性。在 Chinese=>English 与 WMT17 German<=>English 翻译任务上的实验结果表明了所提模型的优越性。
引用
@article{arxiv.1806.11249,
title = {Neural Machine Translation with Key-Value Memory-Augmented Attention},
author = {Fandong Meng and Zhaopeng Tu and Yong Cheng and Haiyang Wu and Junjie Zhai and Yuekui Yang and Di Wang},
journal= {arXiv preprint arXiv:1806.11249},
year = {2018}
}
备注
Accepted at IJCAI 2018