空间上探索概念贡献：基于空间激活概念向量的隐藏层解释
计算机视觉与模式识别
2022-05-25 v1
摘要
为解释深度学习模型，一个主流方向是探索网络所学到的概念。测试概念激活向量（TCAV）提供了一种强有力的工具，用于量化查询概念（由用户定义的引导图像表示）对目标类的贡献。例如，我们可以用 TCAV 定量评估条纹概念在多大程度上贡献于模型对斑马的预测。因此，TCAV 使深度网络的推理过程变得清晰。它已被应用于解决诸如诊断等实际问题。然而，对于一些目标物体仅占区域很小一部分的图像，TCAV 评估可能会受到冗余背景特征的干扰，因为 TCAV 基于整个隐藏层计算概念对目标类的贡献。为解决此问题，我们在 TCAV 基础上提出空间激活概念向量（SACV），其在评估查询概念对目标类模型预测贡献的同时，识别与查询概念相关的空间位置。实验表明，SACV 为隐藏层生成更细粒度的解释图，并在空间上量化概念的贡献。此外，它避免了背景特征的干扰。代码见 https://github.com/AntonotnaWang/Spatial-Activation-Concept-Vector。
引用
@article{arxiv.2205.11511,
title = {Exploring Concept Contribution Spatially: Hidden Layer Interpretation with Spatial Activation Concept Vector},
author = {Andong Wang and Wei-Ning Lee},
journal= {arXiv preprint arXiv:2205.11511},
year = {2022}
}
备注
Accepted by CVPR 2022 Workshop XAI4CV