通过自增强注意力机制改进低数据量条件下的细粒度视觉识别
计算机视觉与模式识别
2022-08-02 v1
摘要
细粒度视觉识别的挑战通常在于发现关键的判别区域。虽然此类区域可从大规模标注数据集中自动识别，但当仅有少量标注可用时，类似方法可能效果减弱。在低数据量条件下，网络往往难以选择正确区域进行识别，并倾向于过拟合训练数据中的虚假相关模式。为解决此问题，本文提出自增强注意力机制，一种使网络正则化以聚焦于跨样本和类别共享的关键区域的新方法。具体而言，该方法首先为每张训练图像生成注意力图，突出用于识别真实物体类别的判别部分。随后将生成的注意力图作为伪标注，强制网络将其作为辅助任务进行拟合。我们称此方法为自增强注意力机制（SAM）。我们还开发了一种变体，利用 SAM 以双线性池化方式生成多个注意力图来池化卷积特征图，称为 SAM-Bilinear。通过大量实验研究，我们表明两种方法均能显著提升低数据量条件下的细粒度视觉识别性能，并可嵌入现有网络架构。源代码公开于：https://github.com/GANPerf/SAM
引用
@article{arxiv.2208.00617,
title = {Improving Fine-Grained Visual Recognition in Low Data Regimes via Self-Boosting Attention Mechanism},
author = {Yangyang Shu and Baosheng Yu and Haiming Xu and Lingqiao Liu},
journal= {arXiv preprint arXiv:2208.00617},
year = {2022}
}
备注
To Appear at ECCV 2022