用于长尾分类器的梯度感知 Logit 调整损失
计算机视觉与模式识别
2024-03-15 v1
摘要
在真实场景中，数据通常遵循长尾分布，其中头部类别包含的训练样本显著多于尾部类别。因此，在此类数据上训练的模型往往偏向头部类别。这种偏见的媒介是不平衡的梯度，不仅包括正负梯度之间的尺度比例，还包括来自不同负类别的不平衡梯度。因此，我们提出了梯度感知 Logit 调整（GALA）损失，该损失基于累积梯度调整 logit 以平衡优化过程。此外，我们发现大多数解决长尾问题的方案最终仍然偏向头部类别，因此我们提出了一种简单的事后预测重平衡策略，以进一步缓解对头部类别的偏向。我们在多个流行的长尾识别基准数据集上进行了大量实验，以评估这两种设计的有效性。我们的方法在 CIFAR100-LT、Places-LT 和 iNaturalist 上分别实现了 48.5\%、41.4\% 和 73.3\% 的 top-1 精度，分别以 3.62\%、0.76\% 和 1.2\% 的显著优势优于 SOTA 方法 GCL。代码可在 https://github.com/lt-project-repository/lt-project 获取。
引用
@article{arxiv.2403.09036,
title = {Gradient-Aware Logit Adjustment Loss for Long-tailed Classifier},
author = {Fan Zhang and Wei Qin and Weijieying Ren and Lei Wang and Zetong Chen and Richang Hong},
journal= {arXiv preprint arXiv:2403.09036},
year = {2024}
}
备注
5 pages, 2 figures. Accepted by icassp 2024, see https://cmsworkshops.com/ICASSP2024/papers/accepted_papers.php by searching this paper title