愚蠢的群体助长良性过拟合
机器学习
2022-03-21 v5 机器学习
统计理论
统计理论
摘要
我们证明了过参数化情形下高斯数据线性回归的稀疏插值过程的超额风险下界。我们应用该结果得到基追踪（最小 范数插值）的下界，表明即使真实模型稀疏，其超额风险收敛速率也可能比 OLS（最小 范数插值）指数级更慢。我们的分析揭示了一种类似于“群体智慧”的效应之益处，只不过此处由拟合引发的危害被分散至多个方向而缓解——方差缩减源于一个的群体。
引用
@article{arxiv.2110.02914,
title = {Foolish Crowds Support Benign Overfitting},
author = {Niladri S. Chatterji and Philip M. Long},
journal= {arXiv preprint arXiv:2110.02914},
year = {2022}
}