岭函数估计中良性过拟合现象的有限样本分析

近期在高规模机器学习中进行的大量数值实验揭示了一种相当反直觉的相变，该相变是样本量与模型参数数量之比的函数。当参数数量 $p$ 接近样本量 $n$ 时，泛化误差会增加，但令人惊讶的是，在超过阈值 $p=n$ 后，它又开始下降。这一现象在 \cite{belkin2019reconciling} 中被引入理论界关注，近来得到了深入研究，特别是针对比深度神经网络更简单的模型，例如当参数取为最小二乘问题的最小范数解时的线性模型。研究首先在 $p$ 和 $n$ 趋于无穷的渐近机制下进行，参见例如 \cite{hastie2019surprises}，最近则在有限维机制下，特别是针对线性模型 \cite{bartlett2020benign}, \cite{tsigler2020benign}, \cite{lecue2022geometrical}。在本文中，我们提出了对\textit{岭}型非线性模型的有限样本分析，其中我们研究了\textit{估计问题}和\textit{预测问题}中双重下降现象的\textit{过参数化机制}。我们的结果提供了对最佳估计量与真实参数之间距离的精确分析，以及一个泛化界，补充了 \cite{bartlett2020benign} 和 \cite{chinot2020benign} 的近期工作。我们的分析基于与连续牛顿法 \cite{neuberger2007continuous} 密切相关的工具，以及对最小 $\ell_2$-范数解预测性能的精细定量分析。