Ask Your Neurons：一种基于神经网络的图像问答方法
计算机视觉与模式识别
2015-10-02 v3 人工智能
计算与语言
摘要
我们解决了一个针对真实世界图像的问答任务，该任务被设定为视觉图灵测试（Visual Turing Test）。通过结合图像表示和自然语言处理的最新进展，我们提出了Neural-Image-QA，一种端到端的问题表述，其所有部分联合训练。与先前工作不同，我们面临一个多模态问题，其中语言输出（答案）以视觉和自然语言输入（图像和问题）为条件。我们的方法Neural-Image-QA将该问题上先前最佳方法的性能翻倍。我们通过分析仅语言部分包含多少信息来提供对该问题的额外见解，为此我们给出了新的人类基线。为了研究人类一致性（这与该挑战性任务固有的模糊性相关），我们提出了两个新指标并收集了额外答案，将原始DAQUAR数据集扩展为DAQUAR-Consensus。
引用
@article{arxiv.1505.01121,
title = {Ask Your Neurons: A Neural-based Approach to Answering Questions about Images},
author = {Mateusz Malinowski and Marcus Rohrbach and Mario Fritz},
journal= {arXiv preprint arXiv:1505.01121},
year = {2015}
}
备注
ICCV'15 (Oral)