神经网络通过SGD在信息论极限附近学习低维多项式

我们研究在$\mathbb{R}^d$中各向同性高斯数据下，使用梯度下降学习单指标目标函数$f_*(\boldsymbol{x}) = \textstyle\sigma_*\left(\langle\boldsymbol{x},\boldsymbol{\theta}\rangle\right)$的问题，其中未知链接函数$\sigma_*:\mathbb{R}\to\mathbb{R}$的信息指数为$p$（定义为Hermite展开中的最低次数）。先前的工作表明，基于梯度的神经网络训练可以用$n\gtrsim d^{\Theta(p)}$个样本学习该目标，并且相关统计查询下界预测这种复杂度是必要的。令人惊讶的是，我们证明了一个由基于SGD的算法（在平方损失上）优化的两层神经网络以不受信息指数支配的复杂度学习$f_*$。具体地，对于任意多项式单指标模型，我们建立了样本和运行时间复杂度$n \simeq T = \Theta(d\!\cdot\! \mathrm{polylog} d)$，其中$\Theta(\cdot)$隐藏了一个仅依赖于$\sigma_*$次数的常数；这个维度依赖在多项式对数因子内匹配信息论极限。更一般地，我们证明$n\gtrsim d^{(p_*-1)\vee 1}$个样本足以实现低泛化误差，其中$p_* \le p$是链接函数的生成指数。我们分析的核心是在梯度计算中重用小批量，这产生了超越相关查询的高阶信息。