用于神经机器翻译的多模态注意力
计算与语言
2016-09-14 v1 神经与进化计算
摘要
注意力机制是神经机器翻译（NMT）的重要组成部分，据报道，与定长编码的序列到序列模型相比，它能产生更丰富的源表示。最近，注意力的有效性也在图像描述的背景下得到了探索。在这项工作中，我们评估了多模态注意力机制的可行性，该机制同时关注图像及其自然语言描述，以生成另一种语言的描述。我们在 Multi30k 多语言图像描述数据集上训练了我们提出的注意力机制的多个变体。我们表明，与纯文本 NMT 基线相比，为每种模态配备专用注意力在 BLEU 和 METEOR 上最多可提升 1.6 分。
引用
@article{arxiv.1609.03976,
title = {Multimodal Attention for Neural Machine Translation},
author = {Ozan Caglayan and Loïc Barrault and Fethi Bougares},
journal= {arXiv preprint arXiv:1609.03976},
year = {2016}
}
备注
10 pages, under review COLING 2016