自监督对比学习的增强感知理论
机器学习
2025-05-29 v1
摘要
自监督对比学习已成为机器学习和计算机视觉中从无标签数据学习有意义表征的强大工具。同时，其经验上的成功促使许多理论研究致力于揭示其学习机制。然而，在现有的理论研究中，数据增强的作用仍未得到充分挖掘，特别是特定增强类型的影响。为了填补这一空白，我们首次提出了自监督对比学习的增强感知误差界，表明监督风险不仅受无监督风险的约束，还明确受数据增强引发的权衡约束。随后，在一种新颖的语义标签假设下，我们讨论了特定的增强方法如何影响该误差界。最后，我们进行了像素级和表征级实验，以验证我们提出的理论结果。
引用
@article{arxiv.2505.22196,
title = {An Augmentation-Aware Theory for Self-Supervised Contrastive Learning},
author = {Jingyi Cui and Hongwei Wen and Yisen Wang},
journal= {arXiv preprint arXiv:2505.22196},
year = {2025}
}
备注
Accepted to ICML2025