面向神经机器翻译的句法导向注意力机制
计算与语言
2019-09-20 v3
摘要
注意力机制（包括全局注意力和局部注意力）在神经机器翻译（NMT）中起着关键作用。全局注意力在词预测时关注所有源语言词。相比之下，局部注意力有选择地查看固定窗口内的源语言词。然而，当前目标词的对齐权重往往以对齐的源位置为中心按线性距离向左右递减，忽视了句法导向的距离约束。本文以句法距离约束扩展局部注意力，聚焦于与预测目标词语法相关的源语言词，从而为词预测学习更有效的上下文向量。此外，我们进一步提出一种双上下文 NMT 架构，其在全局注意力之上由全局上下文向量和句法导向上下文向量构成，以从源表示中为 NMT 提供更好的翻译性能。在大规模汉英和英德翻译任务上的实验表明，所提方法相比基线系统取得了显著且实质性的改进。
引用
@article{arxiv.1711.04231,
title = {Syntax-Directed Attention for Neural Machine Translation},
author = {Kehai Chen and Rui Wang and Masao Utiyama and Eiichiro Sumita and Tiejun Zhao},
journal= {arXiv preprint arXiv:1711.04231},
year = {2019}
}
备注
AAAI2018, revised version