基于 CAM 的方法能看穿墙壁
计算机视觉与模式识别
2024-07-09 v2 机器学习
摘要
基于 CAM 的方法是广泛使用的事后可解释性方法，通过生成显著性图来解释图像分类模型的决策。显著性图突出了与预测相关的图像重要区域。本文表明，大多数此类方法可能会将重要性分数错误地归因于模型无法看到的图像部分。我们从理论和实验两方面证明了这种现象的发生。在理论方面，我们分析了初始化时简单掩码 CNN 模型上 GradCAM 的行为。在实验方面，我们训练了一个被限制不使用图像下半部分的 VGG 类模型，但仍在图像的不可见部分观察到正分数。在两个新数据集上对此行为进行了定量评估。我们认为这是有问题的，可能会导致对模型行为的误解。
关键词
引用
@article{arxiv.2404.01964,
title = {CAM-Based Methods Can See through Walls},
author = {Magamed Taimeskhanov and Ronan Sicre and Damien Garreau},
journal= {arXiv preprint arXiv:2404.01964},
year = {2024}
}
备注
Accepted for publication at ECML 2024 (28 pages, 9 figures)