高维下的线性化两层神经网络

我们考虑在 $d$ 维球面上针对平方损失学习未知函数 $f_{\star}$ 的问题，给定独立同分布样本 $\{(y_i,{\boldsymbol x}_i)\}_{i\le n}$，其中 ${\boldsymbol x}_i$ 是在球面上均匀分布的特征向量，且 $y_i=f_{\star}({\boldsymbol x}_i)+\varepsilon_i$。我们研究两类流行的模型，它们可被视为两层神经网络在随机初始化附近的线性化：Rahimi-Recht 的随机特征模型（RF）；Jacot-Gabriel-Hongler 的神经正切核模型（NT）。这两种方法也可被视为核岭回归的随机化近似（针对不同核），并且在神经元数量 $N$ 发散而维度 $d$ 固定时具有通用逼近性质。我们考虑两种特定情形：逼近受限情形，其中 $n=\infty$ 而 $d$ 和 $N$ 大但有限；以及样本量受限情形，其中 $N=\infty$ 而 $d$ 和 $n$ 大但有限。在第一种情形中，我们证明若对小的 $\delta > 0$ 有 $d^{\ell + \delta} \le N\le d^{\ell+1-\delta}$，则 RF 有效拟合原始特征中的 $\ell$ 次多项式，而 NT 拟合 $(\ell+1)$ 次多项式。在第二种情形中，RF 和 NT 均退化为具有旋转不变核的核方法。我们证明，若样本数为 $d^{\ell + \delta} \le n \le d^{\ell +1-\delta}$，则核方法至多能拟合原始特征中的 $\ell$ 次多项式。该下界由核岭回归达到。最优预测误差在岭正则化趋于零时实现。