VOICE: 诱导对比解释的方差以量化神经网络可解释性中的不确定性

在本文中，我们可视化和量化了基于梯度的神经网络事后视觉解释的预测不确定性。预测不确定性指的是网络在输入扰动下预测的变异性。视觉事后可解释性技术突出显示图像中的特征以证明网络的预测。我们从理论上证明，现有视觉解释技术的评估策略部分减少了神经网络的预测不确定性。这一分析使我们能够构建一个即插即用的方法，以可视化和量化任何基于梯度的解释技术的剩余预测不确定性。我们表明，每张图像、网络、预测和解释技术都具有独特的不确定性。所提出的不确定性可视化和量化产生了两个关键观察结果。首先，在错误预测的情况下，解释技术通常对其归因预测的相同特征感到不确定，从而降低了解释的可信度。其次，解释不确定性的客观指标在经验上表现类似于认知不确定性。我们在两个数据集、四种解释技术和六种神经网络架构上支持这些观察结果。代码可在 https://github.com/olivesgatech/VOICE-Uncertainty 获取。