两层神经网络惰性训练的局限性

我们在以下两种模型之一下研究监督学习问题：（1）特征向量 ${\boldsymbol x}_i$ 为 $d$ 维高斯分布，响应为 $y_i = f_*({\boldsymbol x}_i)$，其中 $f_*$ 为未知二次函数；（2）特征向量 ${\boldsymbol x}_i$ 分布为两个 $d$ 维零均值高斯的混合，$y_i$ 为相应类别标签。我们使用具有二次激活的两层神经网络，并比较三种不同的学习机制：随机特征（RF）机制（仅训练第二层权重）；神经正切（NT）机制（训练神经网络在其初始化点处的线性化）；全训练神经网络（NN）机制（训练网络中的所有权重）。我们证明，即便对于第（1）点的简单二次模型，当神经元数量小于环境维度时，这三种训练机制所达到的预测风险之间存在潜在无界差距。当神经元数量大于维数时，问题显著更容易，NT 与 NN 学习均达到零风险。