无岭回归中双下降峰的普适性

我们证明了无岭线性回归中由标签噪声引起的期望均方泛化误差的一个非渐近、与分布无关的的下界。我们的下界将类似的已知结果推广到了过参数化（插值） regime。与大多数先前工作不同，我们的分析适用于具有几乎必然满秩特征矩阵的广泛输入分布类，这使得我们能够覆盖各类确定性或随机特征映射。我们的下界渐近锐利，并意味着在存在标签噪声时，对于这些特征映射中的任何一种，无岭线性回归在插值阈值附近均表现不佳。我们详细分析了所施加的假设，并给出了针对解析（随机）特征映射的理论。利用该理论，我们可以证明：对于具有（Lebesgue）密度的输入分布以及由带有 sigmoid、tanh、softplus 或 GELU 等解析激活函数的随机深度神经网络给出的特征映射，我们的假设均被满足。作为进一步示例，我们展示了来自随机 Fourier 特征和多项式核的特征映射也满足我们的假设。我们以更多的实验和解析结果补充了我们的理论。