借助友邻之力：视觉表征的最近邻对比学习
计算机视觉与模式识别
2021-10-08 v2
摘要
基于实例判别的自监督学习算法训练编码器对同一实例的预定义变换保持不变。虽然大多数方法将同一图像的不同视图作为对比损失的正样本，我们感兴趣的是使用数据集中其他实例的正样本。我们的方法，视觉表征的最近邻对比学习（NNCLR），在潜空间中从数据集采样最近邻，并将其视为正样本。这比预定义变换提供了更多的语义变化。我们发现，在对比损失中使用最近邻作为正样本显著提升了 ImageNet 分类性能，从 71.7% 提升至 75.6%，优于以往的 state-of-the-art 方法。在半监督学习基准上，当仅有 1% 的 ImageNet 标签可用时，我们将性能从 53.8% 显著提升至 56.5%。在迁移学习基准上，我们的方法在 12 个下游数据集中的 8 个上优于 state-of-the-art 方法（包括使用 ImageNet 的监督学习）。此外，我们通过实验证明我们的方法较少依赖复杂的数据增强。当我们仅使用随机裁剪进行训练时，ImageNet Top-1 准确率仅相对下降 2.1%。
引用
@article{arxiv.2104.14548,
title = {With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations},
author = {Debidatta Dwibedi and Yusuf Aytar and Jonathan Tompson and Pierre Sermanet and Andrew Zisserman},
journal= {arXiv preprint arXiv:2104.14548},
year = {2021}
}
备注
Accepted at ICCV 2021