超越 NTK 学习过参数化两层 ReLU 神经网络

我们考虑学习两层神经网络的梯度下降动态。我们假设输入 $x\in\mathbb{R}^d$ 服从高斯分布，且 $x$ 的标签满足 $f^{\star}(x) = a^{\top}|W^{\star}x|$，其中 $a\in\mathbb{R}^d$ 是非负向量，$W^{\star} \in\mathbb{R}^{d\times d}$ 是正交矩阵。我们证明，一个具有 ReLU 激活函数的过参数化两层神经网络，从随机初始化开始通过梯度下降训练，能够使用多项式样本在多项式时间内可证明地学习到真值网络，且总体损失至多为 $o(1/d)$。另一方面，我们证明任何核方法（包括神经正切核），在 $d$ 的多项式数量样本下，其总体损失至少为 $\Omega(1 / d)$。