深度网络与多重流形问题

我们研究多重流形问题,这是一个建模于机器视觉应用的二分类任务,其中训练一个深度全连接神经网络来分离单位球面上两个低维子流形。我们提供了一维情形的分析,证明对于一种简单流形构型,当网络深度 $L$ 相对于数据的某些几何和统计性质较大、网络宽度 $n$ 以 $L$ 的足够大多项式增长、且来自流形的 i.i.d. 样本数为 $L$ 的多项式时,随机初始化的梯度下降以高概率快速学会完美分类两个流形。我们的分析展示了在实践驱动的模型问题中深度和宽度的具体益处:深度充当拟合资源,更大的深度对应于更平滑的网络,能更容易地分离类别流形;宽度充当统计资源,使得随机初始化网络及其梯度能够集中。该论证围绕神经正切核及其在过参数化神经网络训练的非渐近分析中的作用展开;对此文献,我们给出了深度全连接网络神经正切核本质上最优的集中速率,要求宽度 $n \gtrsim L\,\mathrm{poly}(d_0)$ 以在单位球 $\mathbb{S}^{n_0-1}$ 的 $d_0$ 维子流形上实现初始核的一致集中,并给出了在 NTK regime 下用结构化数据训练的网络泛化的非渐近框架。证明大量使用鞅集中来最优地处理初始随机网络各层之间的统计依赖性。该方法应有助于为其他网络架构建立类似结果。