SAG、SAGA 与 IAG 算法的简洁统一收敛分析
机器学习
2026-05-22 v2 系统与控制
系统与控制
最优化与控制
摘要
随机方差减缓算法，如随机平均梯度（SAG）和 SAGA，以及其确定性对应方法如增量聚合梯度（IAG）方法，已在大规模机器学习中广泛研究。尽管这些方法流行，但现有分析各不相同，依赖于针对每个方法量身定制的不同证明技术。此外，SAG 的原始证明 notoriously 复杂，需依赖计算机辅助分析。我们聚焦于具有光滑强凸目标函数的有限求和优化，本文的主要贡献是开发一种统一的收敛分析，适用于所有三个算法：SAG、SAGA 和 IAG。我们的分析包含两个关键步骤：(i) 使用简单浓度工具建立随机子采样延迟的界限，和 (ii) 仔细设计一种新型 Lyapunov 函数以考虑此类延迟。 resulting 的证明简洁且模块化，为 SAG 和 SAGA 首次提供高概率界限，可无缝推广至非凸目标和马尔可夫采样。作为副产品，我们获得了 IAG 算法最佳已知收敛率，显著优于先前的界限。
引用
@article{arxiv.2602.05304,
title = {A Short and Unified Convergence Analysis of the SAG, SAGA, and IAG Algorithms},
author = {Feng Zhu and Robert W. Heath and Aritra Mitra},
journal= {arXiv preprint arXiv:2602.05304},
year = {2026}
}
备注
To appear at the 43rd International Conference on Machine Learning (ICML)