COSE：一种用于图像分类显著性的一致性-敏感性度量
计算机视觉与模式识别
2023-09-21 v1
摘要
我们提出一组利用视觉先验有效评估图像分类任务中显著性方法性能的度量。为理解深度学习模型行为，许多方法提供视觉显著性图以强调对模型预测贡献最大的图像区域。然而，分析显著性方法在解释模型决策时可靠性的工作有限。我们提出 COnsistency-SEnsitivity（COSE）度量，利用简单数据增广量化视觉模型解释的共轭与不变性质。通过我们的度量表明，尽管显著性方法被认为与架构无关，多数方法对基于 transformer 的模型解释优于基于卷积的模型。此外，发现 GradCAM 在 COSE 上优于其他方法，但存在细粒度数据集上缺乏多样性等局限。一致性与敏感性间的对偶性可从不同角度分析显著性方法。最终，我们发现平衡这两项度量对显著性图忠实展示模型行为至关重要。
引用
@article{arxiv.2309.10989,
title = {COSE: A Consistency-Sensitivity Metric for Saliency on Image Classification},
author = {Rangel Daroya and Aaron Sun and Subhransu Maji},
journal= {arXiv preprint arXiv:2309.10989},
year = {2023}
}