面向神经网络重要性估计器可靠评估的特征扰动增强
机器学习
2023-11-27 v2 计算机视觉与模式识别
摘要
事后解释方法试图使深度神经网络的内部运作更具可解释性。然而,由于通常缺乏真值,为输入特征分配重要性分数的局部事后可解释性方法难以评估。最流行的评估框架之一是扰动被可解释性方法判定为重要的特征,并衡量预测准确率的改变。直观上,预测准确率的大幅下降将表明该解释已正确量化了特征相对于预测结果(例如 logits)的重要性。然而,预测结果的改变可能源于扰动伪影,因为测试数据集中扰动后的样本相对于训练数据集是分布外(OOD)的,因此可能以预期之外的方式干扰模型。为克服这一挑战,我们提出特征扰动增强(FPA),其在模型训练期间生成并添加扰动图像。通过广泛的计算实验,我们证明 FPA 使深度神经网络(DNNs)对扰动更为鲁棒。此外,用 FPA 训练 DNN 表明,重要性分数的符号可能比先前假设更有意义地解释模型。总体而言,FPA 是一种直观的数据增强技术,可改进对事后可解释性方法的评估。
引用
@article{arxiv.2303.01538,
title = {Feature Perturbation Augmentation for Reliable Evaluation of Importance Estimators in Neural Networks},
author = {Lennart Brocki and Neo Christopher Chung},
journal= {arXiv preprint arXiv:2303.01538},
year = {2023}
}