T-TAME：用于解释卷积网络和视觉 Transformer 的可训练注意力机制
计算机视觉与模式识别
2025-06-04 v2 人工智能
机器学习
多媒体
摘要
视觉 Transformer (Vision Transformers) 和其他用于图像分类任务的深度学习架构的发展和采用非常迅速。然而，神经网络的“黑盒”性质阻碍了其在需要可解释性的应用中的采用。虽然已经提出了一些生成解释的技术（主要针对卷积神经网络），但将此类技术适应视觉 Transformer 的新范式并非易事。本文提出了 T-TAME（Transformer-compatible Trainable Attention Mechanism for Explanations），这是一种用于解释图像分类任务中深度神经网络的通用方法。所提出的架构和训练技术可以使用简化的训练方法轻松应用于任何卷积或类视觉 Transformer 神经网络。训练后，解释图可以在单次前向传播中计算得出；这些解释图可与计算昂贵的基于扰动的可解释性技术的输出相媲美或优于后者，实现了 SOTA 性能。我们将 T-TAME 应用于三种流行的深度学习分类器架构（VGG-16、ResNet-50 和 ViT-B-16），这些架构均在 ImageNet 数据集上进行了训练，并展示了其优于现有最先进可解释性方法的改进。对结果的详细分析和消融研究提供了关于 T-TAME 设计选择如何影响生成的解释图质量的见解。
引用
@article{arxiv.2403.04523,
title = {T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers},
author = {Mariano V. Ntrougkas and Nikolaos Gkalelis and Vasileios Mezaris},
journal= {arXiv preprint arXiv:2403.04523},
year = {2025}
}
备注
Accepted