提升少数类占比如何影响泛化？关于组不平衡下单隐藏层神经网络的理论研究
机器学习
2024-03-20 v2 机器学习
摘要
组不平衡是经验风险最小化 (ERM) 中的一个已知问题，其表现为较高的平均准确率伴随着少数类群体的低准确率。尽管已有算法致力于提高少数类群体的准确率，但针对各个组的 ERM 泛化理论分析仍然缺乏。本文通过高斯混合模型对组不平衡问题进行建模，量化了各个组对样本复杂度、收敛速率以及平均和组级测试性能的影响。虽然我们的理论框架集中于使用单隐藏层神经网络的二分类问题，但据我们所知，除了通常研究的平均泛化性能外，我们首次提供了 ERM 在组级泛化方面的理论分析。我们理论结果的启示包括：当所有组级协方差处于中等范围且所有均值接近零时，学习性能最为理想，表现为较小的样本复杂度、较快的训练速率以及较高的平均和组级测试准确率。此外，我们表明增加训练数据中少数类群体的比例并不一定能提高少数类群体的泛化性能。我们的理论结果在合成数据集和实证数据集（如图像分类中的 CelebA 和 CIFAR-10）上得到了验证。
引用
@article{arxiv.2403.07310,
title = {How does promoting the minority fraction affect generalization? A theoretical study of the one-hidden-layer neural network on group imbalance},
author = {Hongkang Li and Shuai Zhang and Yihua Zhang and Meng Wang and Sijia Liu and Pin-Yu Chen},
journal= {arXiv preprint arXiv:2403.07310},
year = {2024}
}