Repetita Iuvant: 数据重复使SGD能够学习高维多指标函数

神经网络可以在高维噪声数据中识别低维相关结构，但我们对它们如何做到这一点的数学理解仍然很少。在这里，我们研究了使用基于梯度的算法训练的两层浅层神经网络的训练动态，并讨论了它们如何学习多指标模型中的相关特征，即具有低维相关方向的目标函数。在高维机制下，输入维度$d$发散，我们表明对理想化的单遍梯度下降训练场景进行简单修改，即现在可以重复或迭代数据两次，可以极大地提高其计算效率。特别地，它超越了先前被认为由要学习的目标函数的信息指数和跳跃指数所决定的限制。我们的结果突出了网络仅从数据中学习相关结构而无需任何预处理的能力。更精确地说，我们表明（几乎）所有方向都可以在最多$O(d \log d)$步内学习。例外情况包括一组硬函数，其中包括稀疏奇偶函数。然而，在方向之间存在耦合的情况下，这些可以通过分层机制顺序学习，该机制推广了阶梯函数的概念。我们的结果通过对高维动态相关统计量演化的严格研究得到证明。