基于自上而下随机化的深度神经网络解释评估合理性检验的缺陷
机器学习
2022-11-23 v1 计算机视觉与模式识别
摘要
尽管解释评估是迈向可信模型的重要一步，但需谨慎执行，且所用度量需被充分理解。具体而言，模型随机化测试常被高估并被视为选择或舍弃某些解释方法的唯一准则。为解决该测试的缺陷，我们首先观察到基于随机化的合理性检验 [1] 与模型输出忠实度度量（如 [25]）在解释方法排序上存在实验性鸿沟。我们指出了基于模型随机化的合理性检验在解释评估中的局限性。首先，我们表明具有零像素协方差的无信息归因图在此类检验中轻易获得高分。其次，我们表明自上而下模型随机化以高概率保留前向传播激活的尺度。即具有大激活的通道在随机化之后仍有高概率对输出强贡献。因此，随机化后的解释只能预期在某种程度上存在差异。这解释了所观察到的实验鸿沟。总之，这些结果表明基于模型随机化的合理性检验作为归因方法排序准则是不足的。
引用
@article{arxiv.2211.12486,
title = {Shortcomings of Top-Down Randomization-Based Sanity Checks for Evaluations of Deep Neural Network Explanations},
author = {Alexander Binder and Leander Weber and Sebastian Lapuschkin and Grégoire Montavon and Klaus-Robert Müller and Wojciech Samek},
journal= {arXiv preprint arXiv:2211.12486},
year = {2022}
}
备注
23 pages