超越对数时间的单隐层神经网络中的混沌传播

我们研究了多项式宽度神经网络动力学与其无限宽度对应物之间的近似差距，两者都使用均值场缩放下进行投射梯度下降训练。我们展示如何通过受均值场动力学控制的微分方程来紧密界定此近似差距。ODE 的关键影响因素是每个粒子的局部 Hessian，定义为粒子速度在均值场动力学中相对于其位置的导数。我们将结果应用于估计 well-specified 单指数模型的规范特征学习问题；我们允许信息指数任意增大，导致收敛时间随环境维数 d 多项式增长。我们表明，由于这些问题中存在某种“自锥一致性”属性——即粒子的局部 Hessian 被粒子速度的常数倍所界定——多项式数量的神经元足以在训练期间紧密逼近均值场动力学。