BR-NPA：一种提升注意力可解释性的非参数高分辨率注意力模型
计算机视觉与模式识别
2022-09-16 v6 机器学习
摘要
采用注意力机制的普遍性引发了对其注意力分布可解释性的担忧。尽管它提供了关于模型如何运作的洞见，将注意力用作模型预测的解释仍极受质疑。学界仍在寻求更具可解释性的策略，以更好地识别对最终决策贡献最大的局部活跃区域。为提升现有注意力模型的可解释性，我们提出一种新颖的双线性代表性非参数注意力(Bilinear Representative Non-Parametric Attention, BR-NPA)策略，以捕获任务相关且人类可解释的信息。目标模型首先被蒸馏以获得更高分辨率的中间特征图。据此，基于局部成对特征相似性对代表性特征进行分组，从而产生更细粒度、更精确的注意力图，突出输入中任务相关的部分。所获得的注意力图依据复合特征的活动水平排序，提供关于高亮区域重要程度的信息。所提模型可轻松适配于涉及分类的多种现代深度模型。大量定量与定性实验表明，在细粒度图像分类、少样本分类与行人重识别等多项任务中，相较最先进的注意力模型与可视化方法，其提供了更全面准确的视觉解释，且不损害分类精度。所提可视化模型为神经网络在不同任务中如何“付出注意力”提供了重要启示。
引用
@article{arxiv.2106.02566,
title = {BR-NPA: A Non-Parametric High-Resolution Attention Model to improve the Interpretability of Attention},
author = {Tristan Gomez and Suiyi Ling and Thomas Fréour and Harold Mouchère},
journal= {arXiv preprint arXiv:2106.02566},
year = {2022}
}