脱离注意力流：CNN模型内部动态的可视化解释
计算机视觉与模式识别
2024-12-03 v1 人工智能
机器学习
多媒体
摘要
本文提出了脱离注意力流(Neuron Abandoning Attention Flow, NAFlow)方法，以解决在CNN分类决策过程中可视化解释注意力演化动态的开放问题。设计了一种新型级联脱离神经元反向传播算法，用于追踪CNN所有层中参与预测决策的神经元，以解决来自被脱离神经元的显著干扰问题。首先，提出了脱离反向传播(neuron abandoning back-propagation, NA-BP)模块，通过使用CNN模型中间层的逆函数生成反向传播特征图(BPFM)，其中不用于决策的神经元被脱离。同时，级联NA-BP模块计算重要性系数的张量，这些系数与BPFM的张量线性组合形成NAFlow。其次，为能够对基于相似性度量的CNN模型进行注意力可视化，提出了新的通道贡献权重模块，通过雅可比矩阵计算重要性系数。我们在九个广泛使用的CNN模型上验证了所提NAFlow的有效性，这些模型用于一般图像分类、对比学习分类、few-shot图像分类和图像检索等各种任务。
引用
@article{arxiv.2412.01202,
title = {Neuron Abandoning Attention Flow: Visual Explanation of Dynamics inside CNN Models},
author = {Yi Liao and Yongsheng Gao and Weichuan Zhang},
journal= {arXiv preprint arXiv:2412.01202},
year = {2024}
}