Ask Your Neurons：一种用于视觉问答的深度学习方法
计算机视觉与模式识别
2016-11-28 v2 人工智能
计算与语言
摘要
我们解决关于真实世界图像的问答任务，设定为视觉图灵测试。结合图像表示和自然语言处理最新进展，提出Ask Your Neurons，一种可扩展的、联合训练的、端到端的问题表述。不同于先前工作，我们面对多模态问题，其中语言输出（答案）以视觉和自然语言输入（图像和问题）为条件。我们通过分析仅语言部分包含多少信息提供额外见解，并给出新人类基线。为研究人类共识（与该挑战性任务固有模糊性相关），提出两个新度量并收集额外答案，将原始DAQUAR数据集扩展为DAQUAR-Consensus。此外，我们将分析扩展到VQA，一个大规模图像问答数据集，研究某些特定设计选择并展示更强视觉模型的重要性。同时，我们的模型取得强性能，仍使用全局图像表示。最后，基于此类分析，我们在DAQUAR上改进Ask Your Neurons，也导致在此挑战性任务上更好性能。
引用
@article{arxiv.1605.02697,
title = {Ask Your Neurons: A Deep Learning Approach to Visual Question Answering},
author = {Mateusz Malinowski and Marcus Rohrbach and Mario Fritz},
journal= {arXiv preprint arXiv:1605.02697},
year = {2016}
}
备注
Improved version, it also has a final table from the VQA challenge, and more baselines on DAQUAR