通过引导技术正规化注意力得分
计算机视觉与模式识别
2026-04-03 v1 人工智能
机器学习
统计方法学
机器学习
摘要
视觉变换器（ViT）依赖注意力机制来权衡输入特征，因此注意力得分自然被视为其决策过程的解释。然而，注意力得分几乎总是非零的，导致注意力图呈现噪声和扩散，限制了可解释性。我们能量量化注意力得分的不确定性并获得正规化后的注意力得分吗？为此，我们在统计学习框架下考虑注意力得分，其中独立噪声会导致显著但非零的得分。利用统计学习技术，我们引入了注意力得分的引导抽样方法，通过对输入特征进行抽样生成注意力得分的基线分布。随后，该引导分布用于估计注意力得分的显著性和后验概率。在自然图像和医学图像中，所提出的注意力正规化方法能够有效消除由噪声引起的虚假注意力，显著提高收缩性和稀疏性。我们使用仿真数据和真实数据进行定量评估。本研究强调，当将注意力得分用作解释ViT的工具时，引导抽样是一种实用的正规化手段。代码已公开：https://github.com/ncchung/AttentionRegularization
引用
@article{arxiv.2604.01339,
title = {Regularizing Attention Scores with Bootstrapping},
author = {Neo Christopher Chung and Maxim Laletin},
journal= {arXiv preprint arXiv:2604.01339},
year = {2026}
}