视觉 Transformer 的类判别性注意力图
计算机视觉与模式识别
2024-10-28 v3 人工智能
机器学习
机器学习
摘要
重要性估计器是一种可量化深度神经网络（DNN）特征重要性的可解释性方法。在视觉 Transformer（ViT）中，自注意力机制自然地生成注意力图，这些注意力图有时被解释为指示 ViT 模型正关注哪些输入特征的重要性得分。然而，注意力图并未考虑来自下游任务的信号。为了生成对下游任务敏感的解释，我们开发了类判别性注意力图（CDAM），这是一种基于梯度的扩展方法，用于估计相对于已知类别或潜在概念的特征重要性。CDAM 通过相应 token 对分类器头预测的相关程度来缩放注意力得分。除了针对监督分类器之外，CDAM 还可以通过测量 ViT 潜在空间中的相似性，来解释选定样本共享的任意概念。此外，我们引入了 Smooth CDAM 和 Integrated CDAM，它们对一系列具有轻微改变的 token 的 CDAM 进行平均。我们的定量基准测试包括正确性、紧凑性和类敏感性，并与其他 7 种重要性估计器进行了比较。原始、Smooth 和 Integrated CDAM 在所有三个基准测试中均表现优异。特别是，我们的结果表明，现有重要性估计器可能无法提供足够的类敏感性。我们通过训练并解释基于肺部计算机断层扫描（CT）的恶性肿瘤和生物标志物预测模型，展示了 CDAM 在医学图像中的应用价值。总体而言，CDAM 表现出高度的类判别性和语义相关性，同时提供了紧凑的解释。
引用
@article{arxiv.2312.02364,
title = {Class-Discriminative Attention Maps for Vision Transformers},
author = {Lennart Brocki and Jakub Binda and Neo Christopher Chung},
journal= {arXiv preprint arXiv:2312.02364},
year = {2024}
}
备注
Full paper at TMLR; Earlier version at 2024 IJCAI Workshop on Explainable AI (XAI)