类别不平衡下过参数化学习的解析模型
机器学习
2025-03-10 v1
摘要
我们研究了高维高斯混合模型中的类别不平衡线性分类问题。我们为几种实用的学习方法（包括 logit adjustment 和 class dependent temperature）的测试误差开发了一个紧致的闭式近似。我们的近似使我们能够解析地调整和比较这些方法，突出了它们如何以及何时能够克服标准交叉熵最小化的陷阱。我们在模拟数据以及不平衡的 CIFAR10、MNIST 和 FashionMNIST 数据集上测试了我们的理论发现。
引用
@article{arxiv.2503.05289,
title = {An Analytical Model for Overparameterized Learning Under Class Imbalance},
author = {Eliav Mor and Yair Carmon},
journal= {arXiv preprint arXiv:2503.05289},
year = {2025}
}