SVRG学习理论：泛化与收敛分析
机器学习
2026-05-28 v1 人工智能
摘要
方差缩减（VR）方法采用 decreasing variance 的随机梯度，因其效率优势，在机器学习中被广泛应用于求解大规模优化问题。现有VR方法的理论研究主要聚焦于收敛分析，泛化行为研究尚不充分。本文通过算法稳定性视角，构建了首个针对代表性VR方法——随机方差缩减梯度（SVRG）的非空洞泛化分析。具体而言，我们通过挖掘SVRG的算法结构，建立了在凸性和强凸性情形下的尖锐稳定性界。所得界限是数据依赖的，因为训练误差被纳入轨迹中。我们的分析阐明了优化与泛化之间的相互作用，leading to optimal excess population risk bounds于两类情形。我们的方法与现有随机算法分析截然不同：我们将SVRG更新分解为类似SGD的步骤外加一个零均值校正项，然后引入新型Lyapunov函数以吸收由参考点引入的额外梯度项。我们的分析框架可推广至其他VR方法，我们通过著名的加速随机平均梯度（SAGA）方法予以验证。
引用
@article{arxiv.2605.28513,
title = {Learning Theory of the SVRG: Generalization and Convergence Analysis},
author = {Yunwen Lei and Zimeng Wang and Xiaoming Yuan},
journal= {arXiv preprint arXiv:2605.28513},
year = {2026}
}