基于不确定性的类激活图用于视觉问答
计算机视觉与模式识别
2020-02-25 v1 计算与语言
机器学习
摘要
理解和解释深度学习模型是一项重要任务。为此，我们提出一种方法，获得基于梯度的确定性估计，同时提供视觉注意力图。具体地，我们求解视觉问答任务。我们引入了现代概率深度学习方法，并通过利用这些估计的梯度进一步改进。这具有双重好处：a) 改进确定性估计的获取，使其与误分类样本更好地相关；b) 改进的注意力图在与人类注意力区域的相关性方面提供了最先进的结果。改进的注意力图使多种视觉问答方法获得一致提升。因此，所提出的技术可视为获取改进确定性估计及深度学习模型解释的通用方案。我们在所有标准基准上针对视觉问答任务提供了详细的实证分析，并与最先进方法进行比较。
引用
@article{arxiv.2002.10309,
title = {Uncertainty based Class Activation Maps for Visual Question Answering},
author = {Badri N. Patro and Mayank Lunayach and Vinay P. Namboodiri},
journal= {arXiv preprint arXiv:2002.10309},
year = {2020}
}
备注
This work is an extension of our ICCV-2019 work. arXiv admin note: text overlap with arXiv:1908.06306