大多数神经网络几乎是可学习的

我们提出一种用于学习随机常深度网络的 PTAS（多项式时间近似方案）。我们证明，对任意固定的 $\epsilon>0$ 与深度 $i$，存在一个多项式时间算法，可对 $\sqrt{d} \cdot \mathbb{S}^{d-1}$ 上的任意分布以至多 $\epsilon$ 的加性误差学习深度 $i$ 的随机 Xavier 网络。该算法的时间与样本复杂度为 $(\bar{d})^{\mathrm{poly}(\epsilon^{-1})}$，其中 $\bar d$ 为网络规模。对于某些 sigmoid 与类 ReLU 激活函数情形，该界可改进为 $(\bar{d})^{\mathrm{polylog}(\epsilon^{-1})}$，从而得到学习常深度随机网络的拟多项式时间算法。