面向不平衡数据集的广义对比学习最优表示

Thuan Nguyen; Shuchin Aeron; D. Richard Brown; Prakash Ishwar

面向不平衡数据集的广义对比学习最优表示

机器学习 2026-05-13 v1

作者: Thuan Nguyen , Shuchin Aeron , D. Richard Brown , Prakash Ishwar

摘要

本文提供了对对比学习(CL)在类别不平衡情况下最优表示几何的可计算特征。当类别平衡且表示维数大于类别数时,已知最优表示 exhibits神经崩解(NC),即来自同一类别的表示折叠到其类别均值,且类别均值形成等角紧致帧(ETF)。对于不平衡的类别和大型、广义的CL损失族,我们证明来自同一类别的所有样本的最优表示折叠到其类别均值,且其几何结构呈由相对类别比例决定的角向对称结构。一般而言,我们表明该几何结构可以通过求解一个凸优化问题来确定。利用这一对称结构,我们分析了一个类别不平衡极端的情况,并证明当类别不平衡超过一个阈值时,CL exhibits一种称为少数派崩解(MC)的现象,即来自少数类别(具有小概率的类别)的所有样本折叠到单个向量,该阈值取决于CL损失的规律性质以及负样本数。提供数值结果以说明这些现象并 corroborate 理论结果。我们通过识别一系列开放问题作结。

关键词

对比学习不平衡数据集神经崩解等角紧致帧角向对称少数派崩解

引用

@article{arxiv.2605.11291,
  title  = {Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets},
  author = {Thuan Nguyen and Shuchin Aeron and D. Richard Brown and Prakash Ishwar},
  journal= {arXiv preprint arXiv:2605.11291},
  year   = {2026}
}

备注

28 pages, 2 figures

面向不平衡数据集的广义对比学习最优表示

摘要

关键词

引用

备注

相关论文