多项式机制下内积核矩阵的谱与核岭回归中的多重下降现象

我们研究内积核矩阵的谱，即元素为 $h (\langle \textbf{x}_i ,\textbf{x}_j \rangle/d)$ 的 $n \times n$ 矩阵，其中 $( \textbf{x}_i)_{i \leq n}$ 是 $\mathbb{R}^d$ 中的独立同分布随机协变量。在线性高维机制 $n \asymp d$ 下，已证明这些矩阵可由其线性化很好地近似，后者简化为一个重缩放 Wishart 矩阵与单位矩阵之和。在本文中，我们将此分解推广到多项式高维机制 $n \asymp d^\ell,\ell \in \mathbb{N}$，针对均匀分布于球面和超立方体上的数据。在该机制下，核矩阵可由其 $\ell$ 次多项式近似很好地近似，并可分解为一个低秩尖峰矩阵、单位矩阵和一个‘Gegenbauer 矩阵’（其元素为 $Q_\ell (\langle \textbf{x}_i , \textbf{x}_j \rangle)$，其中 $Q_\ell$ 是 $\ell$ 次 Gegenbauer 多项式）。我们证明 Gegenbauer 矩阵的谱依分布收敛到 Marchenko-Pastur 律。该问题由多项式机制 $n \asymp d^\kappa, \kappa >0$ 下核岭回归（KRR）预测误差的研究所驱动。先前工作表明，对于 $\kappa \notin \mathbb{N}$，KRR 恰好对目标函数拟合一个 $\lfloor \kappa \rfloor$ 次多项式近似。在本文中，我们利用对核矩阵的刻画来完成这一图景，并在极限 $n/d^\kappa \to \psi$ 且 $\kappa \in \mathbb{N}$ 下计算测试误差的精确渐近。在此情形下，测试误差可呈现双下降行为，取决于 $\kappa$ 层次上的有效正则化与信噪比。由于该双下降可在 $\kappa$ 每次跨越整数时发生，这解释了先前若干工作中观察到的 KRR 风险曲线中的多重下降现象。