超越实例判别：关系感知的对比自监督学习
计算机视觉与模式识别
2022-11-04 v1
摘要
基于实例判别的对比自监督学习（CSL）通常通过预定义的二元自监督吸引正样本同时排斥负样本以学习表示。然而，原始 CSL 不足以建模复杂的实例关系，限制了所学模型保留精细语义结构。一方面，具有相同语义类别的样本不可避免地作为负样本被推远。另一方面，样本间的差异无法被捕捉。在本文中，我们提出关系感知的对比自监督学习（ReCo），以即插即用的方式将实例关系（即全局分布关系和局部插值关系）整合到 CSL 框架中。具体而言，我们在全局层面对齐正锚视图与负样本之间计算的相似度分布，以利用实例间多样的相似关系。在像素空间与特征空间之间应用局部层面的插值一致性，定量建模具有不同表观相似度的样本的特征差异。通过显式的实例关系建模，我们的 ReCo 避免了不合理地推远语义相同的样本，并刻画出一个结构良好的特征空间。在常用基准上进行的广泛实验证明，我们的 ReCo 持续获得显著的性能提升。
引用
@article{arxiv.2211.01796,
title = {Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning},
author = {Yifei Zhang and Chang Liu and Yu Zhou and Weiping Wang and Qixiang Ye and Xiangyang Ji},
journal= {arXiv preprint arXiv:2211.01796},
year = {2022}
}
备注
The first two authors contributed equally to this work. (under review)