过参数化如何影响少数群体上的性能？
机器学习
2022-06-09 v1 统计理论
统计理论
摘要
过参数化对现代机器学习（ML）模型整体性能的有益之处已为人所知。然而，过参数化在数据子群更细粒度层面的影响则较少被理解。近期实证研究展示了令人鼓舞的结果：（i）当群体未知时，使用经验风险最小化（ERM）训练的过参数化模型在少数群体上表现更好；（ii）当群体已知时，对数据子采样以均衡群体规模并在过参数化 regime 下使用ERM，可得到最先进的worst-group-accuracy。在本文中，我们以过参数化随机特征模型在少数群体上风险的理论研究补充这些实证研究。在多数群体与少数群体的回归函数不同的设定下，我们证明过参数化总能改善少数群体性能。
引用
@article{arxiv.2206.03515,
title = {How does overparametrization affect performance on minority groups?},
author = {Subha Maity and Saptarshi Roy and Songkai Xue and Mikhail Yurochkin and Yuekai Sun},
journal= {arXiv preprint arXiv:2206.03515},
year = {2022}
}