学习具有一般 ReLU 激活函数的深度为 2 神经网络的高效算法

我们提出了在温和非退化假设下学习具有一般 ReLU 激活函数的未知深度为 2 前馈神经网络的多项式时间与样本高效算法。具体而言，我们考虑学习形如 $f(x) = {a}^{\mathsf{T}}\sigma({W}^\mathsf{T}x+b)$ 的未知网络，其中 $x$ 服从高斯分布，$\sigma(t) := \max(t,0)$ 为 ReLU 激活函数。先前关于学习带 ReLU 激活网络的著作均假设偏置 $b$ 为零。为处理偏置项的存在，我们提出的算法稳健地分解了由函数 $f(x)$ 的 Hermite 展开产生的多个高阶张量。利用这些思想，我们还建立了在最小假设下网络参数的可辨识性。