PARTICLE：用于细粒度识别的部件发现与对比学习
计算机视觉与模式识别
2023-09-26 v1
摘要
我们开发了以自监督方式精炼细粒度分类与分割任务表征的技术。我们发现基于实例判别对比学习的微调方法效果不佳，并假设识别部件特定的变化对细粒度分类至关重要。我们提出一种迭代学习方法，结合以部件为中心等变与不变目标。首先，对像素表征进行聚类以发现部件。我们分析了最适合该任务的卷积与视觉 transformer 网络的表征。随后，以部件为中心的学习步骤聚合并对比图像内各部件的表征。我们表明这提升了跨数据集的图像分类与部件分割任务性能。例如，在线性评估方案下，使用自监督学习方法 DetCon 在 ImageNet 上训练的 ResNet50 在 Caltech-UCSD Birds 上的分类准确率从 35.4% 提升至 42.0%，在 FGVC Aircraft 上从 35.5% 提升至 44.1%，在 Stanford Cars 上从 29.7% 提升至 37.4%。我们还观察到所提技术在少样本部件分割任务中的显著增益，而实例判别学习效果不佳。基于 transformer 的更强网络也观察到较小但一致的提升。
引用
@article{arxiv.2309.13822,
title = {PARTICLE: Part Discovery and Contrastive Learning for Fine-grained Recognition},
author = {Oindrila Saha and Subhransu Maji},
journal= {arXiv preprint arXiv:2309.13822},
year = {2023}
}