什么有帮助——以及什么会伤害：面向视觉Transformer的双向解释
计算机视觉与模式识别
2026-03-04 v1 人工智能
机器学习
摘要
视觉Transformer（ViTs）在视觉识别中取得了强大的性能，但其决策过程仍难以解释。我们提出了BiCAM（Bidirectional class activation mapping），一种双向类激活映射方法，捕获对模型预测的积极和消极贡献。与先前的CAM方法不同，BiCAM保留了带符号的归因，产生更完整、对比更强的解释。BiCAM进一步引入了正负比率（PNR），用于总结归因的平衡情况，并可无需重新训练即可轻量级检测对抗性样本。在ImageNet、VOC和COCO数据集上，BiCAM在局化和忠诚度方面均取得改进，同时保持计算效率。它可推广到多个ViT变体，包括DeiT和Swin。这些结果表明，对于解释基于Transformer的视觉模型，建模积极和消极证据的重要性是显而易见的。
引用
@article{arxiv.2603.01605,
title = {What Helps---and What Hurts: Bidirectional Explanations for Vision Transformers},
author = {Qin Su and Tie Luo},
journal= {arXiv preprint arXiv:2603.01605},
year = {2026}
}
备注
PAKDD 2026: The 30th Pacific-Asia Conference on Knowledge Discovery and Data Mining