用于图像问答的堆叠注意力网络
机器学习
2016-01-27 v2 计算与语言
计算机视觉与模式识别
神经与进化计算
摘要
本文提出了堆叠注意力网络（SANs），用于学习根据图像回答自然语言问题。SANs 使用问题的语义表示作为查询，以在图像中搜索与答案相关的区域。我们认为图像问答（QA）通常需要多步推理。因此，我们开发了一个多层 SAN，在其中对图像进行多次查询以逐步推断答案。在四个图像问答数据集上进行的实验表明，所提出的 SANs 显著优于先前最先进的方法。注意力层的可视化表明，SAN 能够逐层定位导向问题答案的相关视觉线索。
引用
@article{arxiv.1511.02274,
title = {Stacked Attention Networks for Image Question Answering},
author = {Zichao Yang and Xiaodong He and Jianfeng Gao and Li Deng and Alex Smola},
journal= {arXiv preprint arXiv:1511.02274},
year = {2016}
}
备注
test-dev/standard results added