线性回归中的良性过拟合
机器学习
2022-06-08 v3 机器学习
统计理论
统计理论
摘要
良性过拟合现象是深度学习方法揭示的关键谜团之一：深度神经网络似乎即使在完美拟合噪声训练数据的情况下也能良好预测。受此现象启发，我们考虑了线性回归中对训练数据的完美拟合何时与准确预测相容。我们给出了最小范数插值预测规则具有接近最优预测精度的线性回归问题的一个刻画。该刻画基于数据协方差矩阵有效秩的两个概念。它表明，在这种设定下，过参数化对于良性过拟合至关重要：参数空间中对于预测不重要的方向的数量必须显著超过样本量。通过研究该刻画所表明的良性过拟合所需的数据协方差性质示例，我们发现有限维数据扮演着重要角色：当数据位于无限维空间时，相比于数据位于维度增长快于样本量的有限维空间时，最小范数插值预测规则的精度在更窄的数据分布性质范围内接近最佳可能精度。
引用
@article{arxiv.1906.11300,
title = {Benign Overfitting in Linear Regression},
author = {Peter L. Bartlett and Philip M. Long and Gábor Lugosi and Alexander Tsigler},
journal= {arXiv preprint arXiv:1906.11300},
year = {2022}
}