谱算法在大维数下的学习曲线与良性过拟合

现有的大维数理论只分别解析最优调谐点或插值极限，未涵盖未正则化的区间。我们研究谱算法在样本量与维数同阶 ($n \asymp d^{\gamma}$, $\gamma>0$) 的大维数情形下的学习曲线与良性过拟合现象。首先我们考察球面 $\mathbb{S}^{d-1}$ 上的内积核，给出在各种源条件 $s \geq 0$ 下（$s$ 衡量回归函数的相对光滑性）正则化路径上剩余风险的尖锐渐近特征。我们的结果表明，学习曲线并非简单U型，而是包含三个明确区间：过正则化、未正则化与插值区间。这种特征化使我们能够完全捕获良性过拟合现象，表明只要 $s$ 为正且不超过临界阈值，良性过拟合在未正则化与插值区间均会持续发生。我们进一步证明，在足够正则化的区间，核学习曲线可由关联序列模型恢复。最后，我们将学习曲线分析推广至满足谱比例与超收敛条件的一般域 $\mathbb{R}^d$ 上的大维数 KRR。