自监督对比学习的通用学习框架
机器学习
2025-08-20 v1
摘要
自监督对比学习(SSCL)最近在多个下游任务中显示出优越性能。本文将标准SSCL方法推广为通用学习框架(GLF)，包括两个部分：对齐部分和约束部分。我们分析了三个现有的SSCL方法：BYOL、Barlow Twins 和 SwAV，表明它们可以在GLF下统一，具体取决于约束部分的不同选择。我们进一步提供了经验和理论分析，提供两个有关设计GLF约束部分的见解：首先， intra-class compactness 测量特征空间如何保留输入的类别信息；其次，inter-class separability 测量特征空间如何分离不同类别。然而，由于SSCL无法使用标签，设计满足这些性质的约束部分具有挑战性。为此，我们考虑通过迭代捕获锚点与其他样本之间的动态关系来实现intra-class compactness和inter-class separability，并提出一种即插即用的方法称为自适应分布校准(ADC)，以确保在原始输入空间中靠近或远离锚点的样本，在特征空间中也分别靠近或远离锚点。理论分析和实证评估均表明ADC的优越性。
引用
@article{arxiv.2508.13596,
title = {A Generalized Learning Framework for Self-Supervised Contrastive Learning},
author = {Lingyu Si and Jingyao Wang and Wenwen Qiang},
journal= {arXiv preprint arXiv:2508.13596},
year = {2025}
}