软邻居是对比视觉表征学习中的正向支持者

对比学习方法通过将一个实例的视图与其他视图进行比较来训练视觉编码器。通常，由一个实例生成的视图被设为正样本，而其他实例的视图为负样本。这种二元实例判别被广泛研究以改进自监督学习中的特征表示。本文中，我们重新思考实例判别框架，发现二元实例标签不足以衡量不同样本之间的相关性。举一个直观的例子，给定一张随机图像实例，在一个小批量中可能存在其他图像，其内容含义相同（即属于同一类别）或部分相关（即属于相似类别）。如何对待与当前图像实例相似相关的图像仍是一个未被探索的问题。因此我们提出通过探索其他相关实例（即软邻居）来支持当前图像。我们首先精心构建一个候选邻居集，并将其进一步用于探索高度相关的实例。随后引入一个交叉注意力模块来预测其他相关实例相对于当前实例的相关性分数（记为 positiveness）。该 positiveness 分数定量衡量了每个相关实例的正向支持程度，并被编码进预训练目标中。至此，我们提出的方法在区分不相关实例的同时吸收相关实例用于 SSL。我们在标准视觉识别基准上评估了我们的软邻居对比学习方法（SNCLR），包括图像分类、目标检测和实例分割。最先进的识别性能表明，SNCLR 能有效改进来自 ViT 和 CNN 编码器的特征表示。