通过背景抑制与前景对齐提升小样本细粒度识别
计算机视觉与模式识别
2023-01-20 v2
摘要
小样本细粒度识别（FS-FGR）旨在借助有限的可用样本识别新颖的细粒度类别。无疑，该任务继承了小样本学习和细粒度识别两者的核心挑战。首先，标注样本的缺乏使学到的模型容易过拟合。其次，它还存在数据集中类内方差大、类间差异小的困扰。为应对这一挑战性任务，我们提出了两阶段背景抑制与前景对齐框架，由背景激活抑制（BAS）模块、前景目标对齐（FOA）模块以及局部到局部（L2L）相似度度量组成。具体而言，引入BAS生成前景掩码用于定位，以削弱背景干扰并增强主导前景目标。FOA随后根据每个支持样本对查询样本的校正重建其特征图，从而解决支持-查询图像对之间的错位问题。为使所提方法具备捕捉混淆样本中细微差异的能力，我们提出一种新颖的L2L相似度度量，以进一步在嵌入空间中衡量一对对齐空间特征的局部相似度。此外，考虑到背景干扰导致鲁棒性差，我们使用原始图像与精炼图像推断特征图的成对相似度。在多个流行细粒度基准上的大量实验表明，我们的方法大幅优于现有最先进水平。源代码见：https://github.com/CSer-Tang-hao/BSFA-FSFG。
引用
@article{arxiv.2210.01439,
title = {Boosting Few-shot Fine-grained Recognition with Background Suppression and Foreground Alignment},
author = {Zican Zha and Hao Tang and Yunlian Sun and Jinhui Tang},
journal= {arXiv preprint arXiv:2210.01439},
year = {2023}
}
备注
Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT) 2023