用于神经机器翻译的细粒度注意力机制
计算与语言
2018-04-04 v2
摘要
神经机器翻译(NMT)已成为机器翻译的新范式，而注意力机制因在多种语言对中取得SOTA记录而成为主导方法。尽管注意力机制存在多种变体，但它们均仅使用时间注意力，即为对应于源词的一个上下文向量分配一个标量值。在本文中，我们提出了一种细粒度（或2D）注意力机制，其中上下文向量的每个维度将获得单独的注意力分数。在En-De和En-Fi翻译任务的实验中，细粒度注意力方法在BLEU分数方面提高了翻译质量。此外，我们的对齐分析揭示了细粒度注意力机制如何利用上下文向量的内部结构。
引用
@article{arxiv.1803.11407,
title = {Fine-Grained Attention Mechanism for Neural Machine Translation},
author = {Heeyoul Choi and Kyunghyun Cho and Yoshua Bengio},
journal= {arXiv preprint arXiv:1803.11407},
year = {2018}
}
备注
9 pages, 4 figures