面向神经机器翻译的交互式注意力机制
计算与语言
2016-10-18 v1
摘要
传统的基于注意力的神经机器翻译（NMT）在生成目标语句时进行动态对齐。通过反复读取由编码器生成后保持固定的源语句表示（Bahdanau et al., 2015），注意力机制极大地提升了最先进的NMT性能。本文中，我们提出一种新的注意力机制，称为交互式注意力（INTERACTIVE ATTENTION），它通过读取和写入操作，在翻译过程中对解码器与源语句表示之间的交互进行建模。交互式注意力能够跟踪交互历史，从而提升翻译性能。在NIST中英翻译任务上的实验表明，交互式注意力相较于先前的基于注意力的NMT基线以及一些最先进的基于注意力的NMT变体（例如覆盖度模型（Tu et al., 2016））均能取得显著提升。并且，采用我们交互式注意力的神经机器翻译器在多个测试集上平均比开源的基于注意力的NMT系统Groundhog高出4.22个BLEU值，比开源的基于短语的系统Moses高出3.94个BLEU值。
引用
@article{arxiv.1610.05011,
title = {Interactive Attention for Neural Machine Translation},
author = {Fandong Meng and Zhengdong Lu and Hang Li and Qun Liu},
journal= {arXiv preprint arXiv:1610.05011},
year = {2016}
}
备注
Accepted at COLING 2016