基于标签感知有界 CVaR 的鲁棒长尾学习
机器学习
2023-08-30 v1 计算机视觉与模式识别
信息检索
摘要
现实世界分类问题中的数据总是不平衡或长尾的，其中多数类拥有绝大多数主导模型训练的样品。在此情形下，朴素模型往往在少数类上表现不佳。此前，已提出多种损失修正方法来解决长尾学习问题，但这些方法要么对同类样本不加区分，要么缺乏理论保证。本文中，我们提出两种基于 CVaR（条件风险价值）的新方法来以坚实的理论基础改进长尾学习的性能。具体而言，我们首先引入标签感知有界 CVaR（LAB-CVaR）损失以克服原始 CVaR 的悲观结果，并进一步从理论上设计出 LAB-CVaR 的最优权重界。基于 LAB-CVaR，我们额外提出带 logit 调整的 LAB-CVaR（LAB-CVaR-logit）损失以稳定优化过程，并同样提供了理论支撑。在具有长尾标签分布的真实世界数据集上的大量实验验证了我们所提方法的优越性。
引用
@article{arxiv.2308.15405,
title = {Robust Long-Tailed Learning via Label-Aware Bounded CVaR},
author = {Hong Zhu and Runpeng Yu and Xing Tang and Yifei Wang and Yuan Fang and Yisen Wang},
journal= {arXiv preprint arXiv:2308.15405},
year = {2023}
}