大学习率驯服同质性：收敛与平衡效应

最近的实证进展表明，使用大学习率训练深度模型通常能改善泛化性能。然而，由于分析上的挑战，关于大学习率益处的理论依据极为有限。在本文中，我们考虑在同质矩阵分解问题（即 $\min_{X, Y} \|A - XY^\top\|_{\sf F}^2$）上使用具有大学习率的梯度下降 (GD)。我们证明了对于远超 $2/L$ 的恒定大学习率的收敛理论，其中 $L$ 是初始化处 Hessian 的最大特征值。此外，我们严格建立了由这种大学习率引起的 GD 的隐式偏置，称为“平衡”，意味着即使在 $X$ 和 $Y$ 初始化显著不平衡时，GD 迭代极限处 $X$ 和 $Y$ 的幅度也将接近。数值实验为我们的理论提供了支持。