两个类的故事：为二分类不平衡数据集适配监督对比学习
机器学习
2025-03-24 v1 计算机视觉与模式识别
摘要
监督对比学习（SupCon）已被证明是多类平衡数据集分类的强有力替代方案，优于标准交叉熵损失。然而，它在处理长尾分布的数据集时难以学习良好条件的表示。对于二分类不平衡分布，尤其是在诸如医学诊断等许多实际问题中常见，问题可能被进一步恶化。在七个自然图像和医学图像的数据集上进行的实验表明，SupCon的性能会随着类别不平衡程度的增加而下降。为证明这些发现，本文引入了两种新型指标，用于评估所学表示空间的质量。通过测量局部邻域中的类别分布，我们能够揭示经典指标无法检测到的表示空间结构性缺陷。基于这些洞见，我们提出了两种针对二分类不平衡数据集的新型监督对比学习策略，通过改进表示空间的结构，使标准SupCon在下游分类准确率提升最高可达35%。我们提供了代码。
引用
@article{arxiv.2503.17024,
title = {A Tale of Two Classes: Adapting Supervised Contrastive Learning to Binary Imbalanced Datasets},
author = {David Mildenberger and Paul Hager and Daniel Rueckert and Martin J Menten},
journal= {arXiv preprint arXiv:2503.17024},
year = {2025}
}