梯度解释的复杂度与忠实性权衡

ReLU 网络虽广用于视觉数据，但具有锐利的转折点，有时依赖单个像素进行预测，从而使 vanilla 梯度解释噪声大且难以解释。现有方法（如 GradCAM）通过生成替代模型来平滑解释，代价是忠实性下降。我们提出统一的谱方法，系统性地分析和量化解释的平滑性、忠实性及其权衡。通过该方法，我们量化并正则化 ReLU 网络对高频信息的贡献，提供一种原则化的方法来识别此权衡。我们的分析刻画了基于替代模型的平滑如何扭曲解释，从而导致我们正式定义并度量不同后验方法的“解释间隙”。最后，我们在不同的设计选择、数据集和消融实验中验证了理论发现。