浅层 ReLU 网络在弱交互数据上的收敛性

我们分析了在 $n$ 个数据点上通过梯度流训练的单隐层 ReLU 网络的收敛性。我们的主要贡献利用了环境空间的高维特性（这意味着输入样本的低相关性），证明了具有 $\log(n)$ 阶宽度的网络足以高概率实现全局收敛。我们的分析沿梯度流轨迹采用了 Polyak-{\L}ojasiewicz 视角，提供了 $\frac{1}{n}$ 的指数收敛速率。当数据完全正交时，我们给出了收敛速度的进一步精细刻画，证明了其渐近行为介于 $\frac{1}{n}$ 和 $\frac{1}{\sqrt{n}}$ 阶之间，并展示了收敛速率中的相变现象，在此过程中它从下界演变至上界，且相对时间阶为 $\frac{1}{\log(n)}$。