用于神经机器翻译的监督注意力机制
计算与语言
2016-08-02 v1
摘要
在本文中，我们利用训练句对的 alignments 来提高神经机器翻译的注意力或对齐精度。我们简单地计算机器注意力与“真实”alignments 之间的距离，并在训练过程中最小化该代价。我们在大规模中译英任务上的实验表明，我们的模型在翻译和对齐质量上均显著优于大词汇量神经机器翻译系统，甚至击败了最先进的传统基于句法的系统。
引用
@article{arxiv.1608.00112,
title = {Supervised Attentions for Neural Machine Translation},
author = {Haitao Mi and Zhiguo Wang and Abe Ittycheriah},
journal= {arXiv preprint arXiv:1608.00112},
year = {2016}
}
备注
6 pages. In Proceedings of EMNLP 2016. arXiv admin note: text overlap with arXiv:1605.03148