基于曲率对齐的自监督学习
机器学习
2026-05-18 v2 计算机视觉与模式识别
机器学习
摘要
自监督学习 (SSL) 最近通过将不变性项与方差、协方差或冗余减少惩罚相结合的方式取得了显著进展。虽然此类目标函数塑造了表示的的一阶和二阶统计信息，但很大程度上忽略了底层数据流形的局部几何结构。本文引入 CurvSSL——一种曲率正则化的自监督学习框架及其基于核方法的 RKHS 扩展。我们保留标准的双视图编码器-投影器架构，并采用 Barlow Twins 风格的冗余减少损失对投影特征进行处理，但增添了基于曲率的正则化器。每个嵌入被视为一个顶点，其 k 个最近邻通过单位半球上的余弦相互作用定义离散曲率得分；在核变体中，曲率由 RKHS 中归一化局部格拉米矩阵计算得出。这些得分通过基于曲率导出矩阵的 Barlow 风格损失在数据增强之间进行对齐和消相关，旨在鼓励视图不变性以及局部流形弯曲的一致性。在使用 ResNet-18 backbone 在 MNIST 和 CIFAR-10 数据集上的实验表明，曲率正则化的 SSL 相较于 Barlow Twins 和 VICReg 在线性评估性能上具有竞争力或更优表现。我们的结果表明，显式塑造局部几何结构是纯统计 SSL 正则化器的一个简单且有效的补充。
关键词
引用
@article{arxiv.2511.17426,
title = {Self-Supervised Learning by Curvature Alignment},
author = {Benyamin Ghojogh and M. Hadi Sepanj and Paul Fieguth},
journal= {arXiv preprint arXiv:2511.17426},
year = {2026}
}
备注
A shorter version of this paper has been published in: Journal of Computational Vision and Imaging Systems, Vol. 11, No. 1, Special Issue: Proceedings of CVIS 2025