非凸问题中随机梯度下降的几乎必然收敛性

本文分析了随机梯度下降（SGD）的轨迹，以帮助理解该算法在非凸问题中的收敛性质。我们首先证明，在非常广泛的步长调度下，SGD 生成的迭代序列保持有界且以概率 $1$ 收敛。随后，超越现有的正概率保证，我们证明对于所考虑的整个步长策略谱，SGD 以概率 $1$ 避开严格鞍点/鞍流形。最后，我们证明若以 $\Theta(1/n^p)$ 步长调度使用该算法，其到 Hurwicz 极小点的收敛速率为 $\mathcal{O}(1/n^{p})$。这为调谐算法步长提供了重要指导，因为这表明具有消失步长的冷却阶段可能导致更快收敛；我们使用 ResNet 架构在 CIFAR 上演示了这一启发式方法。