防止监督对比学习中的类别坍塌的理论框架
机器学习
2025-03-12 v1 计算机视觉与模式识别
摘要
监督对比学习（Supervised Contrastive Learning, SupCL）已成为表征学习中的一种突出方法，旨在利用监督损失和自监督损失。然而，在两者之间取得最佳平衡具有挑战性；若未能做到，可能导致类别坍塌，降低同一类别中各个嵌入向量之间的辨识度。本文提出了一套基于理论的指导方针，以防止学习表征中的类别坍塌。具体而言，我们引入单纯形到单纯形嵌入模型（Simplex-to-Simplex Embedding Model, SSEM），构建一种可建模各种嵌入结构（包括最小化监督对比损失的所有嵌入）的理论框架。通过SSEM，我们分析了超参数如何影响所学习的表征，为缓解类别坍塌风险的超参数选择提供了实用指导。我们的理论发现在合成数据和真实数据集上得到实证验证。
引用
@article{arxiv.2503.08203,
title = {A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning},
author = {Chungpa Lee and Jeongheon Oh and Kibok Lee and Jy-yong Sohn},
journal= {arXiv preprint arXiv:2503.08203},
year = {2025}
}