基于再平衡对比损失的长尾学习
机器学习
2024-07-10 v2 计算机视觉与模式识别
摘要
将监督对比损失集成到基于交叉熵的通信中最近被提出作为解决长尾学习问题的方法。然而，当类别不平衡比率较高时，需要调整监督对比损失以支持尾部类别，因为传统对比学习默认偏向头部类别。为此，我们提出再平衡对比学习（RCL），一种通过解决三个主要方面来提高长尾分类准确率的有效方法：1. 特征空间平衡性——所有类别均分特征空间；2. 类内紧凑性——减少同类嵌入之间的距离；3. 正则化——为尾部类别施加更大间隔以减少过拟合。RCL 将基于类别频率的 SoftMax 损失平衡引入监督对比学习损失，并利用标量乘特征输入对比学习损失以增强紧凑性。我们在具有 SOTA 性能的平衡对比学习（BCL）框架上实现 RCL。在三个基准数据集上的实验表明，RCL 为 BCL 框架提供了更丰富的学习嵌入和更高的 top-1 平衡准确率。我们进一步证明，RCL 作为独立损失函数也能达到 SOTA 级别的准确率。
引用
@article{arxiv.2312.01753,
title = {Long-Tail Learning with Rebalanced Contrastive Loss},
author = {Charika De Alvis and Dishanika Denipitiyage and Suranga Seneviratne},
journal= {arXiv preprint arXiv:2312.01753},
year = {2024}
}