小初始化下两层 ReLU 网络中的早期神经元对齐

本文研究了使用小初始化梯度流训练两层 ReLU 网络进行二分类的问题。我们考虑一个具有良好分离输入向量的训练数据集：任意具有相同标签的输入数据对呈正相关，任意具有不同标签的数据对呈负相关。我们的分析表明，在训练早期阶段，第一层中的神经元试图根据其在第二层上对应的权重与正数据或负数据对齐。对神经元方向动力学的细致分析使我们能够提供所有神经元实现对输入数据的良好对齐所需时间的 $\mathcal{O}(\frac{\log n}{\sqrt{\mu}})$ 上界，其中 $n$ 为数据点数量，$\mu$ 度量数据的分离程度。在早期对齐阶段之后，损失以 $\mathcal{O}(\frac{1}{t})$ 的速率收敛到零，且第一层的权重矩阵近似低秩。在 MNIST 数据集上的数值实验说明了我们的理论发现。