核岭回归的非渐近理论：确定性等价、测试误差与GCV估计量

我们考虑使用核岭回归(KRR)学习未知目标函数 $f_*$，给定独立同分布数据 $(u_i,y_i)$, $i\leq n$，其中 $u_i \in U$ 是协变量向量，$y_i = f_* (u_i) +\varepsilon_i \in \mathbb{R}$。最近的一系列工作经验性地表明，KRR的测试误差可以通过一个从“等价”序列模型导出的闭式估计来很好地近似，该模型仅依赖于核算子的谱。然而，迄今为止，这种等价性的理论证明要么依赖于严格的假设（如亚高斯独立特征函数），要么依赖于特定核在高维下的渐近推导。在本文中，我们证明了对于满足核特征分解上某些谱和浓度性质的一般问题类，这种等价性成立。具体而言，我们在该设定下为KRR的测试误差建立了一个非渐近的确定性近似——具有显式的非渐近界——该近似仅依赖于特征值以及目标函数与核特征向量的对齐度。我们的证明依赖于在Cheng和Montanari (2022)开创的无维数机制下，对随机矩阵泛函确定性等价物的仔细推导。我们将此设定应用于几个经典示例，并展示了理论预测与数值模拟之间的极好一致性。这些结果依赖于能够获取核算子的特征分解。作为替代，我们证明了在相同设定下，广义交叉验证(GCV)估计量在包含零（插值解）的岭正则化参数范围内一致收敛于测试误差。因此，GCV估计量可用于从数据中估计KRR的测试误差和最优正则化参数。