关于求解线性系统的自适应随机重球动量法
最优化与控制
2024-04-04 v3
摘要
随机重球动量(SHBM)方法作为一种可扩展的求解大规模优化问题的方法已获得相当广泛的关注。然而,该方法的一个局限在于其依赖于对某些问题参数(如矩阵的奇异值)的先验知识。在本文中,我们针对由线性系统利用用户自定义分布重构得到的随机问题,提出了SHBM方法的一个自适应变体。我们的自适应SHBM(ASHBM)方法利用迭代信息来更新参数,解决了文献中关于动量参数自适应学习的一个开放问题。我们证明了我们的方法在期望意义下线性收敛,且相比基本方法具有更好的收敛界。值得注意的是,我们证明了ASHBM算法的确定性版本可重构为共轭梯度(CG)方法的一个变体,继承了后者的诸多优良性质,如有限时间收敛。因此,ASHBM方法可进一步推广以发展求解线性系统的随机CG(SCG)方法的全新框架。我们的理论结果得到了数值实验的支持。
引用
@article{arxiv.2305.05482,
title = {On adaptive stochastic heavy ball momentum for solving linear systems},
author = {Yun Zeng and Deren Han and Yansheng Su and Jiaxin Xie},
journal= {arXiv preprint arXiv:2305.05482},
year = {2024}
}
备注
to appear in SIAM Journal on Matrix Analysis and Applications