关于随机方差缩减梯度在线性逆问题中收敛性的研究
数值分析
2026-03-18 v2 数值分析
最优化与控制
摘要
随机方差缩减梯度(SVRG)是基于方差缩减的随机梯度下降的加速版本，有望用于求解大规模逆问题。本文分析了SVRG及其结合问题先验知识的正则化版本，用于求解希尔伯特空间中的线性逆问题。我们证明，在合适的常数步长调度和正则性条件下，只要截断水平选择得当，正则化SVRG无需任何提前停止规则即可达到关于噪声水平的最优收敛速度；而标准SVRG在提前停止规则下对于非光滑解问题也是最优的。该分析基于显式误差递推以及关于锚点内循环更新的合适先验估计。数值实验补充了理论分析。
引用
@article{arxiv.2510.14759,
title = {On the convergence of stochastic variance reduced gradient for linear inverse problems},
author = {Bangti Jin and Zehui Zhou},
journal= {arXiv preprint arXiv:2510.14759},
year = {2026}
}
备注
29 pages, 2 figures