基于依存树推理的可解释视觉问答
计算机视觉与模式识别
2019-12-30 v2
摘要
协作推理以理解图像-问题对，在可解释视觉问答系统中是一个非常关键但未被充分探索的课题。尽管近期研究尝试使用显式组合过程来组装问题中嵌入的多个子任务，其模型严重依赖标注或手工规则以获取有效推理过程，导致要么工作量大，要么在组合推理上表现不佳。本文为在多样且无约束的情况下更好地对齐图像与语言域，提出了一种新颖的神经网络模型，该模型对从问题解析出的依存树进行全局推理；因此，我们的模型被称为解析树引导推理网络（PTGRN）。该网络由三个协作模块组成：i) 注意力模块，利用从问题解析出的每个词的局部视觉证据；ii) 门控残差组合模块，组合先前挖掘的证据；iii) 解析树引导传播模块，沿解析树传递所挖掘的证据。因此，PTGRN 能够构建可解释视觉问答（VQA）系统，依问题驱动的解析树推理逐步推导图像线索。在关系数据集上的实验证明了 PTGRN 优于当前最先进 VQA 方法，且可视化结果凸显了我们推理系统的可解释能力。
引用
@article{arxiv.1809.01810,
title = {Interpretable Visual Question Answering by Reasoning on Dependency Trees},
author = {Qingxing Cao and Bailin Li and Xiaodan Liang and Liang Lin},
journal= {arXiv preprint arXiv:1809.01810},
year = {2019}
}
备注
14 pages, 10 figures. arXiv admin note: text overlap with arXiv:1804.00105