加权对比学习的统一几何框架
机器学习
2026-05-15 v1
摘要
对比学习（CL）旨在通过学习能够反映相似图谱的表示来保持样本之间的关系结构。然而， resulting embeddings 的几何结构仍鲜为人知。我们表明，加权 InfoNCE 目标可被解释为距离几何问题，其中加权方案指定由表示实现的目标几何。这种观点为几个受监督和弱监督目标提供了精确的 optimal embeddings 描述。在受监督分类中，SupCon 和 Soft SupCon（一种稠密松弛，其中来自不同类的两两具有小非零相似性）会将每个类别内的样本坍缩到单个原型。然而，尽管平衡 SupCon 恢复了经典的正交全等边三角形几何，类别不平衡会破坏这种对称性：SupCon 诱导非均匀的类别间相似性，取决于类别大小，而 Soft SupCon 能保持正交全等边三角形几何，无论类别不平衡程度如何。在连续标签设置中，我们框架揭示了不同失效模式：y-Aware CL 在除非标签位于超球面上时无法达到其熵最优，暴露了欧几里得标签权重与球面潜在相似性之间的不匹配。相比之下，欧几里得-欧几里得加权或 X-CLR 等几何一致的选择可获得唯一的 optimal embeddings。我们的结果表明，加权方案的选择决定了对比学习是几何可实现、退化还是不一致的，为设计对比目标提供了原则框架。
引用
@article{arxiv.2605.13943,
title = {A Unified Geometric Framework for Weighted Contrastive Learning},
author = {Raphael Vock and Edouard Duchesnay and Benoit Dufumier},
journal= {arXiv preprint arXiv:2605.13943},
year = {2026}
}
备注
Preprint