面向 VQA 的问题条件反事实图像生成
计算机视觉与模式识别
2019-11-18 v1 计算与语言
摘要
尽管视觉问答（VQA）模型不断推动最先进水平向前发展，它们很大程度上仍是黑盒——无法提供关于如何或为何生成答案的洞见。在这项进行中的工作中，我们提议通过为 VQA 模型学习生成反事实图像来解决这一不足——即给定问答-图像对，我们希望生成一张新图像，使得 i) VQA 模型输出不同答案，ii) 新图像与原始图像差异最小，且 iii) 新图像是逼真的。我们希望提供此类反事实示例能让用户考察并理解 VQA 模型的内部机制。
引用
@article{arxiv.1911.06352,
title = {Question-Conditioned Counterfactual Image Generation for VQA},
author = {Jingjing Pan and Yash Goyal and Stefan Lee},
journal= {arXiv preprint arXiv:1911.06352},
year = {2019}
}
备注
Accepted by the VQA Workshop at CVPR 2019