论视觉解释定量评估的一致性问题

近年来，通过视觉解释来论证神经网络预测的方法得到了越来越多的发展。这些解释通常采取热图的形式，为输入图像的每个像素分配一个显著性（或相关度）值，以表示该像素对某一标签预测的相关程度。与此发展相辅相成，人们提出了评估方法来衡量此类解释的“优劣”。一方面，其中一些方法依赖于合成数据集。然而，这引入了在更真实场景下适用性保障有限的弱点。另一方面，一些方法依赖于客观评估的指标。然而，这些评估方法彼此之间的表现水平尚不确定。考虑到这一点，我们在 ImageNet-1k 验证集的一个子集上开展了一项综合研究，依据一组评估方法对若干常用解释方法进行了评估。我们以对所研究评估方法的合理性检验作为补充，以考察其可靠性以及解释特征对评估方法的影响。我们的研究结果表明，部分所考虑的评估方法在评分上缺乏一致性。此外，我们已识别出解释的某些特征（例如稀疏性）可能对性能产生显著影响。