基于注意力的神经机器翻译的有效方法
计算与语言
2015-09-22 v5
摘要
近来，注意力机制已被用于在翻译过程中选择性聚焦于源句子部分，从而改进神经机器翻译（NMT）。然而，探索基于注意力的NMT有用架构的工作很少。本文考察了两类简单而有效的注意力机制：总是关注所有源词的整体方法，以及每次仅查看源词子集的局部方法。我们在WMT英德互译任务上展示了两种方法的有效性。使用局部注意力，相较于已经结合了dropout等已知技术的非注意力系统，我们取得了5.0 BLEU点的显著提升。我们使用不同注意力架构的集成模型在WMT'15英德翻译任务上以25.9 BLEU点确立了新的最先进（state-of-the-art）结果，比现有的由NMT和n-gram重排序器支持的最佳系统提高了1.0 BLEU点。
引用
@article{arxiv.1508.04025,
title = {Effective Approaches to Attention-based Neural Machine Translation},
author = {Minh-Thang Luong and Hieu Pham and Christopher D. Manning},
journal= {arXiv preprint arXiv:1508.04025},
year = {2015}
}
备注
11 pages, 7 figures, EMNLP 2015 camera-ready version, more training details