单隐层神经网络的恢复保证

在本文中，我们考虑使用单隐层神经网络（1NNs）的回归问题。我们提炼了激活函数的一些性质，这些性质使得 1NN 平方损失目标函数在真实参数的邻域内具有 $\mathit{local~strong~convexity}$。大多数流行的非线性激活函数都满足所提炼的性质，包括修正线性单元（ReLUs）、带泄漏的 ReLU、平方 ReLU 和 sigmoid 函数。对于同样光滑的激活函数，我们证明了在重采样规则下梯度下降的 $\mathit{local~linear~convergence}$ 保证。对于齐次激活函数，我们证明了张量方法能够初始化参数使其落入局部强凸区域。结果表明，在光滑齐次激活下，以高概率保证，张量初始化后接梯度下降能够以 $d \cdot \log(1/\epsilon) \cdot \mathrm{poly}(k,\lambda )$ 的样本复杂度和 $n\cdot d \cdot \mathrm{poly}(k,\lambda)$ 的计算复杂度恢复真实参数，其中 $d$ 是输入维度，$k$（$k\leq d$）是隐藏节点数，$\lambda$ 是输入层与隐藏层之间真实参数矩阵的一个条件性质，$\epsilon$ 是目标精度，$n$ 是样本数。据我们所知，这是第一项为 1NNs 提供恢复保证的工作，其样本复杂度和计算复杂度均与输入维度呈 $\mathit{linear}$ 关系，与精度呈 $\mathit{logarithmic}$ 关系。