抗坍塌非对比学习的自监督学习
机器学习
2025-07-08 v4 机器学习
摘要
我们提出了一种以超维计算为基础的非对比式自监督学习的原则性和简化设计，包括投影器和损失函数。我们理论上演示，这种设计引入的归纳偏置会鼓励表征同时具有decorrelated 和 clustered 特性，无需显式强制这些特性。这种偏置可证明地增强了泛化能力，并足以避免已知的训练失败模式，如表示、维度、聚类和簇内坍塌。我们在包括 SVHN、CIFAR-10、CIFAR-100 和 ImageNet-100 在内的图像数据集上验证了我们的理论发现。我们的做法有效地结合了特征decorrelation 和基于聚类的自监督学习方法的优势，克服了训练失败模式，同时在聚类和线性分类任务中实现了强大的泛化。
引用
@article{arxiv.2410.04959,
title = {Collapse-Proof Non-Contrastive Self-Supervised Learning},
author = {Emanuele Sansone and Tim Lebailly and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:2410.04959},
year = {2025}
}
备注
ICML 2025