SinSim: Sinkhorn 正则化的 SimCLR
机器学习
2025-02-18 v1 计算机视觉与模式识别
机器学习
摘要
自监督学习通过消除对标注数据的需求革新了表征学习。对比学习方法如 SimCLR 最大化图像增强视图之间的一致性，但缺乏显式正则化来强制全局结构化的潜在空间。这一局限往往导致次优泛化。我们提出 SinSim，即 SimCLR 的一种新颖扩展，融合了最优传输理论中的 Sinkhorn 正则化以增强表征结构。Sinkhorn 损失作为一种熵正则化的 Wasserstein 距离，鼓励特征空间具有良好的分散性和几何感知性，同时保持判别能力。在多个数据集上的实证评估表明，SinSim 优于 SimCLR，并在与 VICReg 和 Barlow Twins 等知名自监督方法的对比中达到了竞争性性能。UMAP 可视化进一步揭示了改进的类别可分离性和结构化的特征分布。这些结果表明，将最优传输正则化融入对比学习为学习鲁棒且结构良好的表征提供了一种原则且有效的机制。我们的发现为在自监督学习框架中应用基于传输的约束开辟了新方向。
引用
@article{arxiv.2502.10478,
title = {SinSim: Sinkhorn-Regularized SimCLR},
author = {M. Hadi Sepanj and Paul Fiegth},
journal= {arXiv preprint arXiv:2502.10478},
year = {2025}
}