用于视觉问答的双线性图网络
计算机视觉与模式识别
2020-02-04 v2
摘要
本文从图的角度重新审视了视觉问答任务中的双线性注意力网络。经典的双线性注意力网络构建双线性注意力图来提取问题中单词与图像中物体的联合表示，但缺乏充分探索单词之间的关系以进行复杂推理。相比之下，我们提出了双线性图网络来建模单词与物体联合嵌入的上下文。我们研究了两类图，即图像图和问答图。图像图将检测到的物体特征传递给其相关的查询词，使输出节点同时具有语义和事实信息。问答图在这些来自图像图的输出节点之间交换信息，以放大物体之间隐含却重要的关系。这两类图相互协作，因此我们的模型能够建模物体之间的关系与依赖，从而实现多步推理。在 VQA v2.0 验证集上的实验结果证明了我们的方法处理复杂问题的能力。在 test-std 集上，我们的最佳单模型取得了最先进的性能，将总体准确率提升至 72.41%。
引用
@article{arxiv.1907.09815,
title = {Bilinear Graph Networks for Visual Question Answering},
author = {Dalu Guo and Chang Xu and Dacheng Tao},
journal= {arXiv preprint arXiv:1907.09815},
year = {2020}
}