基于通用依存树的可视化问题推理

对每一图像-问题对进行协同推理，对于可解释视觉问答（VQA）系统至关重要，但却未被充分研究。尽管最近的少数工作也尝试了显式组合过程来组装问题中嵌入的多个子任务，但它们的模型严重依赖标注或手工规则以获得有效推理布局，导致要么标注负担重，要么在组合推理上表现差。本文中，为了在多样且无约束的情况下更好地对齐图像与语言域并实现全局上下文推理，我们提出了一种称为对抗组合模块网络（ACMN）的新型推理网络。该网络包含两个协同模块：i）对抗注意力模块，用于利用从问题中解析出的每个词的局部视觉证据；ii）残差组合模块，用于组合先前挖掘的证据。给定每个问题的依存解析树，对抗注意力模块通过以对抗方式密集结合子词节点的区域，逐步发现一个词的显著区域。随后残差组合模块通过求和池化与残差连接合并任意数量子节点的隐藏表示。因此，我们的 ACMN 能够构建可解释 VQA 系统，该系统遵循问题驱动的推理路径逐步深入图像线索，并以原则性方式通过整合所有注意力模块学到的知识进行全局推理。在关系数据集上的实验证明了我们 ACMN 的优越性，可视化结果显示了我们推理系统的可解释能力。