最小二乘问题上稳定的梯度调整根均方传播
最优化与控制
2025-07-28 v2
摘要
根均方传播(Root Mean Square Propagation, 简称RMSProp)是机器学习中广泛使用的一阶随机算法。本文提出了一种基于小批量随机梯度的稳定梯度调整RMSProp(称作SGA-RMSProp)，并在线性最小二乘问题上研究其性质。在一致的线性最小二乘问题上，建立了该算法的R线性收敛性。对于不一致情况下的算法，也被证明收敛于最小值的附近区域，其收敛区域由批量大小控制。此外，还进行了数值实验，比较了SGA-RMSProp、随机梯度下降(Stochastic Gradient Descent, 简称SGD)和原始RMSProp在不同批量大小下的性能。通过数值实验观察到SGA-RMSProp具有更快的初始收敛速度，本文还提出了一种用于从SGA-RMSProp切换到SGD的自适应策略，结合了这两种算法的优势。
引用
@article{arxiv.2411.15877,
title = {Stable gradient-adjusted root mean square propagation on least squares problem},
author = {Runze Li and Jintao Xu and Wenxun Xing},
journal= {arXiv preprint arXiv:2411.15877},
year = {2025}
}