滑下阶梯：相关的潜变量如何加速神经网络的学习

神经网络使用随机梯度下降（SGD）从数据中提取特征。具体而言，高阶输入累积量对网络性能至关重要。然而，从 $d$ 维输入的 $p$ 阶累积量中提取信息在计算上十分困难：使用在线 SGD 从 $p$ 阶张量（张量 PCA）中恢复单一方向所需的样本数随 $d^{p-1}$ 增长，这对于高维输入是难以承受的。这一结果引出了一个问题：神经网络如何高效地从其输入的高阶累积量中提取相关方向？在此，我们表明，沿不同输入累积量中编码方向的潜变量之间的相关性能够加速从高阶相关中的学习。我们通过推导近乎精确的阈值在分析上展示了这一效应，该阈值表示单个神经元在高维下从随机起始点使用在线 SGD 弱恢复这些方向所需的样本数。我们的分析结果在两层神经网络的模拟中得到了证实，并揭示了神经网络中分层学习的一种新机制。