CO2：用于无监督视觉表征学习的一致性对比
计算机视觉与模式识别
2020-10-07 v1
摘要
对比学习已被采纳为无监督视觉表征学习的核心方法。在无人工标注的情况下，常见做法是执行实例判别任务：给定查询图像裁剪块，该任务将来自同一图像的裁剪块标记为正样本，来自其他随机采样图像的裁剪块标记为负样本。该标签分配策略的一个重要局限在于，它不能反映查询裁剪块与其他图像各裁剪块之间的异质相似性，将它们等同视为负样本，而其中某些甚至可能与查询属于同一语义类。为解决此问题，受半监督学习中关于无标注数据的一致性正则化启发，我们提出一致性对比（CO2），将一致性正则化项引入当前对比学习框架。将查询裁剪块相对于其他图像各裁剪块的相似性视为“无标签”，该一致性项以对应正样本裁剪块的相似性作为伪标签，并鼓励这两种相似性之间的一致性。经验上，CO2 在 ImageNet 线性协议上将 Momentum Contrast（MoCo）提升了 2.9% 的 top-1 准确率，在 1% 和 10% 标注的半监督设定下分别提升 3.8% 和 1.1% 的 top-5 准确率。它还可迁移至 PASCAL VOC 上的图像分类、目标检测和语义分割。这表明 CO2 为这些下游任务学习了更好的视觉表征。
引用
@article{arxiv.2010.02217,
title = {CO2: Consistent Contrast for Unsupervised Visual Representation Learning},
author = {Chen Wei and Huiyu Wang and Wei Shen and Alan Yuille},
journal= {arXiv preprint arXiv:2010.02217},
year = {2020}
}