带负采样校正的对比学习
机器学习
2024-01-18 v1
摘要
作为最有效的自监督表示学习方法之一，对比学习（CL）依赖多个负样本对与每个正样本对进行对比。在对比学习的标准实践中，数据增强方法被用来生成正样本对和负样本对。虽然现有工作一直专注于改进正采样，但负采样过程常常被忽视。事实上，生成的负样本经常被正样本污染，这导致损失函数有偏和性能下降。为校正负采样偏差，我们提出了一种名为正-无标签对比学习（PUCL）的新型对比学习方法。PUCL将生成的负样本视为无标签样本，并利用正样本的信息来校正对比损失中的偏差。我们证明，与无偏对比损失相比，PUCL中使用的校正损失仅引入可忽略的偏差。PUCL可应用于一般的对比学习问题，并在各种图像和图分类任务上优于最先进的方法。PUCL的代码见补充文件。
引用
@article{arxiv.2401.08690,
title = {Contrastive Learning with Negative Sampling Correction},
author = {Lu Wang and Chao Du and Pu Zhao and Chuan Luo and Zhangchi Zhu and Bo Qiao and Wei Zhang and Qingwei Lin and Saravan Rajmohan and Dongmei Zhang and Qi Zhang},
journal= {arXiv preprint arXiv:2401.08690},
year = {2024}
}
备注
9 pages, 3 figures