视觉问答中的提问相关性
计算机视觉与模式识别
2018-07-24 v1 计算与语言
摘要
自由形式且开放式的视觉问答系统解决了针对图像的问题提供准确自然语言答案的问题。当前的 VQA 系统不评估所提问题是否与输入图像相关，因此在面对与图像无关的问题时会给出无意义的答案。在本文中，我们解决了识别所提问题与图像相关性的问题。我们将该问题分解为两个子问题。我们首先识别问题是否为视觉问题。如果问题是视觉问题，我们再判断其是否与图像相关。针对第二个问题，我们从现有的视觉问答数据集生成了一个大规模数据集，以训练复杂架构并对视觉问题与图像的相关性进行建模。我们还将基于长短期记忆循环神经网络的模型的结果与逻辑回归、XGBoost 和基于多层感知机的方法进行了比较。
引用
@article{arxiv.1807.08435,
title = {Question Relevance in Visual Question Answering},
author = {Prakruthi Prabhakar and Nitish Kulkarni and Linghao Zhang},
journal= {arXiv preprint arXiv:1807.08435},
year = {2018}
}