一种用于非对比学习的概率模型
机器学习
2025-05-27 v2
摘要
自监督学习（SSL）旨在通过数据增广编码语义相似性，从无标签数据中寻找有意义的表示。尽管目前很受欢迎，但关于SSL的理论见解仍然很少。例如，目前尚不清楚常用的SSL损失函数是否可以与统计模型相关联，就像OLS、广义线性模型或PCA自然地作为底层生成过程的最大似然估计出现一样。在这篇短文中，我们考虑了一个用于SSL的潜变量统计模型，该模型展现出一个有趣的特性：根据数据增广的信息量，该模型的MLE要么退化为PCA，要么逼近一个简单的非对比损失。我们分析了该模型，并实证说明了我们的发现。
引用
@article{arxiv.2501.13031,
title = {A Probabilistic Model for Non-Contrastive Learning},
author = {Maximilian Fleissner and Pascal Esser and Debarghya Ghoshdastidar},
journal= {arXiv preprint arXiv:2501.13031},
year = {2025}
}