LSAS：缓解注意力偏置问题的轻量子注意力策略
计算机视觉与模式识别
2023-05-10 v1 人工智能
摘要
在计算机视觉中，深度神经网络(DNNs)的性能高度依赖于其特征提取能力，即识别并聚焦于图像中关键像素区域的能力。然而，本文通过定量与统计说明，DNNs在一些流行数据集的许多样本上存在严重的注意力偏置问题：(1)位置偏置：DNNs完全聚焦于与标签无关的区域；(2)范围偏置：DNNs聚焦的区域未完全包含于理想区域中。此外，我们发现现有自注意力模块能在一定程度上缓解这些偏置，但偏置仍不可忽略。为进一步减轻之，我们提出一种轻量子注意力策略(LSAS)，利用高阶子注意力模块改进原有自注意力模块。LSAS的有效性通过在广泛使用基准数据集与流行注意力网络上的大量实验得到证明。我们发布代码以帮助其他研究者复现LSAS结果~\footnote{https://github.com/Qrange-group/LSAS}。
引用
@article{arxiv.2305.05200,
title = {LSAS: Lightweight Sub-attention Strategy for Alleviating Attention Bias Problem},
author = {Shanshan Zhong and Wushao Wen and Jinghui Qin and Qiangpu Chen and Zhongzhan Huang},
journal= {arXiv preprint arXiv:2305.05200},
year = {2023}
}