TAME：基于注意力机制的特征融合以生成卷积神经网络解释图
计算机视觉与模式识别
2025-01-30 v1
摘要
神经网络明显的“黑箱”特性是在可解释性至关重要的应用中被采用的障碍。本文提出 TAME（Trainable Attention Mechanism for Explanations，可训练解释注意力机制），一种利用多分支分层注意力机制生成解释图的方法。TAME 使用注意力机制组合目标模型来自多个层的特征图，并将其转换为解释图。TAME 可通过简化注意力机制训练方法的优化以及目标模型特征图的选择，轻松应用于任何卷积神经网络（CNN）。训练后，解释图可在单次前向传播中计算。我们将 TAME 应用于两个广泛使用的模型，即 VGG-16 和 ResNet-50，它们在 ImageNet 上训练，并展示出相对于先前性能最佳方法的改进。我们还提供了全面的消融研究，比较 TAME 架构不同变体的性能。TAME 源代码已在 https://github.com/bmezaris/TAME 公开。
引用
@article{arxiv.2301.07407,
title = {TAME: Attention Mechanism Based Feature Fusion for Generating Explanation Maps of Convolutional Neural Networks},
author = {Mariano Ntrougkas and Nikolaos Gkalelis and Vasileios Mezaris},
journal= {arXiv preprint arXiv:2301.07407},
year = {2025}
}
备注
Accepted for publication in the proceedings of IEEE Int. Symposium on Multimedia (ISM), Naples, Italy, Dec. 2022