大步长梯度下降：混沌与分形收敛区域
机器学习
2026-02-10 v3 机器学习
摘要
我们考察矩阵分解中的梯度下降，发现当步长较大时，参数空间会发展出分形结构。我们推导了标量-向量分解中收敛的确切临界步长，表明在临界附近，所选最小化器对初始化极其敏感。此外，我们表明加入正则化会放大这种敏感性，从而生成收敛与发散初始化之间分形的分界。该分析推广到以正交初始化进行的一般矩阵分解。我们的发现表明，接近临界的步长会诱导梯度下降的混沌 regime，其中训练结果不可预测，且不存在简单的隐式偏好，如对均衡性、最小范数或平坦性的偏好。
引用
@article{arxiv.2509.25351,
title = {Gradient Descent with Large Step Sizes: Chaos and Fractal Convergence Region},
author = {Shuang Liang and Guido Montúfar},
journal= {arXiv preprint arXiv:2509.25351},
year = {2026}
}