具有无偏性与最小方差缩减的小批量随机共轭算法
最优化与控制
2023-06-02 v1
摘要
本文首先提出了具有无偏性与最小方差的新随机梯度估计。其次，我们提出了两种算法：Algorithm1 与 Algorithm2，将新随机梯度估计应用于现代随机共轭梯度算法 SCGA 与 CGVR。随后我们证明，在强凸与光滑假设下，所提算法可获得线性收敛率。最后，数值实验表明新随机梯度估计能有效降低随机梯度的方差，且我们的算法相比 SCGA 与 CGVR 在岭回归模型数值实验中收敛更快。
引用
@article{arxiv.2306.00459,
title = {The Mini-batch Stochastic Conjugate Algorithms with the unbiasedness and Minimized Variance Reduction},
author = {Feifei Gao and Caixia Kou},
journal= {arXiv preprint arXiv:2306.00459},
year = {2023}
}
备注
17 pages, 3 figures