利用卷积神经网络学习图像问答
计算与语言
2015-11-16 v2 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
在本文中，我们提出采用卷积神经网络（CNN）进行图像问答（QA）。我们提出的CNN提供了一个端到端的卷积架构框架，不仅用于学习图像和问题的表示，还用于学习它们的跨模态交互以生成答案。更具体地，我们的模型由三个CNN组成：一个图像CNN用于编码图像内容，一个句子CNN用于组合问题中的词语，以及一个多模态卷积层用于学习它们的联合表示，以便在候选答案词空间中进行分类。我们在DAQUAR和COCO-QA数据集上证明了我们所提模型的有效性，这两个数据集是图像问答的两个基准数据集，其性能显著优于当前最先进水平（state-of-the-art）。
引用
@article{arxiv.1506.00333,
title = {Learning to Answer Questions From Image Using Convolutional Neural Network},
author = {Lin Ma and Zhengdong Lu and Hang Li},
journal= {arXiv preprint arXiv:1506.00333},
year = {2015}
}
备注
7 pages, 4 figures. Accepted by AAAI 2016