超越线性缩放区间的随机特征回归渐近理论

机器学习的最新进展是通过使用过参数化模型并训练至接近训练数据插值而取得的。例如，双下降现象表明，参数数量并不能很好地代表模型复杂度和泛化能力。这留下了一个待解问题：理解参数化对这些模型性能的影响。模型复杂度和泛化如何依赖于参数数量$p$？我们应如何相对于样本量$n$选择$p$以达到最优测试误差？在本文中，我们研究了随机特征岭回归（RFRR）这一例子。该模型既可视为核岭回归（KRR）的有限秩近似，也可视为在所谓惰性机制下训练的神经网络的简化模型。我们考虑协变量均匀分布在$d$维球面上，并在高维多项式缩放区间内计算RFRR测试误差的精确渐近结果，其中$p,n,d \to \infty$而$p/ d^{\kappa_1}$和$n / d^{\kappa_2}$保持常数，对所有$\kappa_1 , \kappa_2 \in \mathbb{R}_{>0}$成立。这些渐近结果精确刻画了随机特征数量和正则化参数对测试性能的影响。特别地，RFRR在近似能力与泛化能力之间表现出直观的权衡。当$n = o(p)$时，样本量$n$是瓶颈，RFRR达到与KRR相同的性能（等价于取$p = \infty$）。另一方面，若$p = o(n)$，随机特征数量$p$是限制因素，RFRR的测试误差与随机特征模型类的近似误差相匹配（类似于取$n = \infty$）。最后，在$n= p$处出现双下降现象，这一现象此前仅在$\kappa_1 = \kappa_2 = 1$的线性缩放区间被刻画。