结合合成正样本的对比学习
计算机视觉与模式识别
2025-04-25 v2
摘要
利用最近邻的对比学习通过利用同一类内多个实例的相似性，已被证明是最有效的自监督学习（SSL）技术之一。然而，其有效性受到限制，因为最近邻算法主要识别“简单”正样本对，这些样本对的表示在嵌入空间中已经非常接近。在本文中，我们引入了一种名为结合合成正样本的对比学习（CLSP）的新方法，该方法利用由无条件扩散模型生成的合成图像作为额外的正样本，帮助模型从多样化的正样本中学习。通过在扩散模型采样过程中进行特征插值，我们生成了具有不同背景但与锚图像具有相似语义内容的图像。这些图像被视为锚图像的“困难”正样本，当作为补充正样本纳入对比损失时，它们在多个基准数据集（如 CIFAR10）上使线性评估性能相比之前的 NNCLR 和 All4One 方法提升了超过 2% 和 1%，达到了 SOTA。在迁移学习基准上，CLSP 在 8 个下游数据集中的 6 个上优于现有的 SSL 框架。我们相信 CLSP 为未来在训练过程中结合合成数据的 SSL 研究确立了有价值的基线。
引用
@article{arxiv.2408.16965,
title = {Contrastive Learning with Synthetic Positives},
author = {Dewen Zeng and Yawen Wu and Xinrong Hu and Xiaowei Xu and Yiyu Shi},
journal= {arXiv preprint arXiv:2408.16965},
year = {2025}
}
备注
8 pages, conference