从合成数据学习判别特征用于自监督细粒度视觉识别
计算机视觉与模式识别
2024-07-23 v1
摘要
自监督学习(SSL)已成为获取视觉表征的热门方法，但其在细粒度视觉识别(FGVR)中的应用面临区分类别间细微差异的挑战。为克服这一问题，我们引入一种新策略，提升SSL提取提取FGVR关键判别特征的能力。该方法创建合成数据对，引导模型在SSL期间关注FGVR关键判别特征。我们首先通过两个主要标准识别非判别特征：一是方差低且无法有效分离数据的特征，二是被认为不够重要的特征（基于SSL损失通过Grad-CAM诱导）。随后，我们对这些非判别特征施加扰动，同时保留判别特征。采用解码器从扰动后和原始特征向量中重构图像，以创建数据对。然后，在此类生成数据对上训练编码器，使其对非判别维度的变化不敏感，同时聚焦于判别特征，从而提高模型在FGVR任务中的性能。我们通过在广泛的数据集上进行大量评估，展示了所提出方法在FGVR性能方面的前景。
引用
@article{arxiv.2407.14676,
title = {On Learning Discriminative Features from Synthesized Data for Self-Supervised Fine-Grained Visual Recognition},
author = {Zihu Wang and Lingqiao Liu and Scott Ricardo Figueroa Weston and Samuel Tian and Peng Li},
journal= {arXiv preprint arXiv:2407.14676},
year = {2024}
}
备注
Accepted by ECCV 2024