神经网络在信息论极限附近学习通用多指数模型

在深度学习中，核心议题之一是理解神经网络如何高效学习高维特征。为此，我们探讨了使用梯度下降学习一般高斯多指数模型 $f(\boldsymbol{x})=g(\boldsymbol{U}\boldsymbol{x})$，其中隐藏子空间为 $\boldsymbol{U}\in \mathbb{R}^{r\times d}$，这 явля为研究表示学习的标准设置。我们证明，在链函数的通用非退化假设下，通过层级梯度下降训练的标准两层神经网络可在使用 $\widetilde{\mathcal{O}}(d)$ 个样本和 $\widetilde{\mathcal{O}}(d^2)$ 时间内，以 $o_d(1)$ 测试误差无偏学习目标。样本和时间复杂度均与信息论极限相符，仅上升阶数，因此是最优的。在梯度下降学习的初始阶段，证明通过表明内权重可以执行幂迭代过程来进行。该过程在整个隐藏子空间的整个张量上隐式模拟了光谱启动，并最终消除有限样本噪声并恢复该张量。这 surprisingly 表示，只有当第一层训练超过 $\mathcal{O}(1)$ 步时，才能实现最优结果。该工作表明神经网络在样本和时间效率方面能够有效学习具有层次性的函数。