随机 Kaczmarz 和带贪心步长 SGD 的最终收敛性
机器学习
2026-04-14 v1 数值分析
数值分析
最优化与控制
机器学习
摘要
我们研究了在光滑二次方程的插值 regime 下，带贪心步长的 SGD 的最终收敛性，这一设置捕获了经典的随机 Kaczmarz 算法以及其他流行的迭代线性系统求解器。在这些方法中，我们表明第 t 次迭代具有 O(1/t^{3/4}) 的收敛率，这回答了 Attia、Schliserman、Sherman 和 Koren 提出的问题，后者给出该设置下 O(1/t^{1/2}) 的保证。在证明中，我们引入了一族随机收缩过程，其行为可由某些确定性特征值方程的演化来描述，我们通过严格的离散到连续化简来进行分析。
引用
@article{arxiv.2604.09909,
title = {Last-Iterate Convergence of Randomized Kaczmarz and SGD with Greedy Step Size},
author = {Michał Dereziński and Xiaoyu Dong},
journal= {arXiv preprint arXiv:2604.09909},
year = {2026}
}