通过反事实生成解释图像分类器

当图像分类器作出预测时,图像的哪些部分相关以及为什么相关?我们可以换一种问法:图像中哪些部分若未被分类器看到,会最大程度地改变其决策?产生答案需要对本可能但未被看到的图像进行边际化。我们可以通过以图像其余部分为条件来采样合理的图像填补。然后我们优化以找到填补后最改变分类器决策的图像区域。我们的方法不同于诸如模糊或注入噪声等临时的填补方法,后者生成的输入远离数据分布,且忽略了图像不同部分间的信息性关系。与先前方法相比,我们的方法产生更紧凑且相关的显著性图,伪影更少。