神经网络的深度分离

设 $f:\mathbb{S}^{d-1}\times \mathbb{S}^{d-1}\to\mathbb{S}$ 为形如 $f(\mathbf{x},\mathbf{x}') = g(\langle\mathbf{x},\mathbf{x}'\rangle)$ 的函数，其中 $g:[-1,1]\to \mathbb{R}$。我们给出一个简单证明，表明当 $g$ 不能被低次多项式逼近时，具有（指数级）有界权重的多项式规模深度二神经网络无法逼近 $f$。此外，对于许多 $g$，例如 $g(x)=\sin(\pi d^3x)$，神经元数量必须为 $2^{\Omega\left(d\log(d)\right)}$。而且，该结果在 $\mathbb{S}^{d-1}\times \mathbb{S}^{d-1}$ 上的均匀分布下成立。由于许多上述形式的函数可以被具有多项式有界权重的多项式规模深度三网络很好地逼近，这在 $\mathbb{S}^{d-1}\times \mathbb{S}^{d-1}$ 上的均匀分布下建立了深度二网络与深度三网络之间的分离。