学习通用判别线索以改进细粒度视觉识别中的自监督表示
计算机视觉与模式识别
2023-07-28 v2 机器学习
摘要
自监督学习（SSL）策略在各种识别任务中展现出卓越性能。然而，我们的初步调研与近期研究均表明，在学习细粒度视觉识别（FGVR）的表示时，它们可能效果欠佳，因为许多有助于优化 SSL 目标的特征并不适合刻画 FGVR 中的细微差异。为克服该问题，我们提出学习一种额外的筛选机制，以识别跨实例与类别普遍出现的判别性线索，本文称之为通用判别线索（common rationales）。直观上，通用判别线索往往对应于前景对象关键部分的判别性模式。我们表明，通用判别线索检测器可仅利用由 SSL 目标诱导的 GradCAM 学习得到，无需使用任何预训练的对象部件或显著性检测器，从而能与现有 SSL 过程无缝集成。具体而言，我们用一个拟合容量受限的分支去拟合 GradCAM，使该分支能够捕获通用判别线索并丢弃较少见的判别性模式。在测试阶段，该分支生成一组空间权重，用以选择性地聚合表示某个实例的特征。在四个视觉任务上的大量实验结果表明，所提方法在不同评估设定下均能带来显著提升。
引用
@article{arxiv.2303.01669,
title = {Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems},
author = {Yangyang Shu and Anton van den Hengel and Lingqiao Liu},
journal= {arXiv preprint arXiv:2303.01669},
year = {2023}
}
备注
CVPR 2023