从投影视角概述监督对比学习的泛化
机器学习
2025-10-08 v2 信息论
math.IT
摘要
自监督对比学习 (SSCL) 已成为一种强大的表征学习范式，并从多个视角进行了研究，包括相互信息和几何视角。然而，监督对比 (SupCon) 方法在这一背景下受到的关注相对较少：例如，虽然 SSCL 中使用的 InfoNCE 已知其形式是相互信息 (MI) 的下界，但 SupCon 与 MI 之间的关系尚未探讨。为填补这一空白，我们提出 ProjNCE，这是一种对 InfoNCE 损失的泛化，通过引入投影函数和对负样本对的调整项来统一监督和自监督对比目标。我们证明 ProjNCE 构成有效的 MI 上界，并能灵活选择类嵌入的投影策略。基于这种灵活性，我们进一步通过多种投影方法探索 SupCon 中基于质心的类嵌入。大量实验表明，ProjNCE 在图像和音频数据集上 consistently 优于 SupCon 和标准交叉熵训练。我们的工作从信息论和投影两个互补视角细化 SupCon，并在 SupCon 作为基础对比目标时提供广泛适用的改进。
引用
@article{arxiv.2506.09810,
title = {Generalizing Supervised Contrastive learning: A Projection Perspective},
author = {Minoh Jeong and Alfred Hero},
journal= {arXiv preprint arXiv:2506.09810},
year = {2025}
}