用三层神经网络学习分层多项式

我们研究在标准高斯分布下用三层神经网络学习分层多项式的问题。我们具体考虑形式为 $h = g \circ p$ 的目标函数，其中 $p : \mathbb{R}^d \rightarrow \mathbb{R}$ 是 $k$ 次多项式，$g: \mathbb{R} \rightarrow \mathbb{R}$ 是 $q$ 次多项式。该函数类推广了对应于 $k=1$ 的单指标模型，并且是具有底层分层结构的函数的自然类。我们的主要结果表明，对于一大类 $k$ 次多项式 $p$，通过分层梯度下降在平方损失上训练的三层神经网络以 $\widetilde{\mathcal{O}}(d^k)$ 样本和多项式时间学习到消失测试误差的目标 $h$。这相对于需要 $\widetilde \Theta(d^{kq})$ 样本的内核方法以及要求目标函数为低秩的现有两层网络保证而言是严格改进。我们的结果还推广了先前关于三层神经网络的工作，那些工作仅限于 $p$ 为二次的情形。当 $p$ 确实为二次时，我们达到了信息论最优的样本复杂度 $\widetilde{\mathcal{O}}(d^2)$，这相对于先前工作~\citep{nichani2023provable} 需要的 $\widetilde\Theta(d^4)$ 样本量有所改进。我们的证明通过表明在训练初始阶段网络以 $\widetilde{\mathcal{O}}(d^k)$ 样本执行特征学习以恢复特征 $p$ 来进行。本工作展示了三层神经网络学习复杂特征并由此学习广泛分层函数类的能力。