监督对比表示学习：基于无约束特征的景观分析
机器学习
2024-03-01 v1 机器学习
摘要
最近的发现表明，在训练误差为零之后继续训练的过参数化深度神经网络，在其最后一层表现出一种独特的结构模式，称为神经坍缩 (Neural-collapse, NC)。这些结果表明，此类网络中的最终隐藏层输出在训练集上表现出极小的类内变化。虽然现有研究在交叉熵损失下广泛研究了这一现象，但针对其对比对应物——监督对比 (SC) 损失的研究较少。本文通过 NC 的视角，采用分析方法研究优化 SC 损失所得到的解。我们采用无约束特征模型 (UFM) 作为代表性代理，以揭示充分过参数化深度网络中与 NC 相关的现象。我们表明，尽管 SC 损失最小化是非凸的，但所有局部最小值都是全局最小值。此外，最小化器是唯一的（直至旋转）。我们通过形式化 UFM 的紧密凸松弛来证明我们的结果。最后，通过这种凸公式化，我们更深入地表征了在标签不平衡训练数据下全局解的性质。
引用
@article{arxiv.2402.18884,
title = {Supervised Contrastive Representation Learning: Landscape Analysis with Unconstrained Features},
author = {Tina Behnia and Christos Thrampoulidis},
journal= {arXiv preprint arXiv:2402.18884},
year = {2024}
}
备注
10 pages