深入探索图像间不变性以学习无监督视觉表示

对比学习最近在无监督视觉表示学习中展现了巨大的潜力。该方向的现有研究主要关注图像内不变性学习。这种学习通常使用丰富的图像内变换来构建正样本对，然后使用对比损失最大化一致性。相反，图像间不变性的优势仍然很少被探索。利用图像间不变性的一个主要障碍在于，由于没有可用的样本对标注，尚不清楚如何可靠地构建图像间正样本对，并从中进一步导出有效的监督。在本工作中，我们提出了一项全面的实证研究，从三个主要组成部分更好地理解图像间不变性学习的作用：伪标签维护、采样策略和决策边界设计。为了促进这项研究，我们引入了一个统一且通用的框架，支持无监督图像内和图像间不变性学习的整合。通过精心设计的比较和分析，揭示了多个有价值的观察结果：1) 在线标签比离线标签收敛更快且性能更好；2) 半难负样本比难负样本更可靠且无偏；3) 较不严格的决策边界更有利于图像间不变性学习。结合所有获得的策略，我们的最终模型即 InterCLR，在多个标准基准上相对于最先进的图像内不变性学习方法展现出一致的提升。我们希望这项工作能为设计有效的无监督图像间不变性学习提供有用的经验。代码：https://github.com/open-mmlab/mmselfsup。