SAGA/Prox-SVRG 的局部收敛性质与加速
最优化与控制
2018-11-05 v3
摘要
过去十年间,受机器学习引发的大规模优化问题驱动,随机优化方法的发展迅猛增长。然而,尽管其流行,相较于确定性优化方法,这些方法的理论理解仍相当有限。本文对一类典型随机优化方法——近端方差缩减随机梯度法——进行局部收敛分析,主要关注 SAGA [12] 与 Prox-SVRG [43] 算法。在假设优化问题的非光滑分量相对于光滑流形为部分光滑的条件下,我们给出 SAGA/Prox-SVRG 算法局部收敛分析的统一框架:(i) SAGA/Prox-SVRG 生成的序列能在有限步内辨识出光滑流形;(ii) 随后序列进入局部线性收敛 regime。除局部收敛分析外,我们还讨论加速这些算法的多种可能,包括适配更优局部参数,以及应用可达到超线性收敛的高阶确定性/随机优化方法。并考虑源自机器学习的具体例子以验证所得结果。
引用
@article{arxiv.1802.02554,
title = {Local Convergence Properties of SAGA/Prox-SVRG and Acceleration},
author = {Clarice Poon and Jingwei Liang and Carola-Bibiane Schönlieb},
journal= {arXiv preprint arXiv:1802.02554},
year = {2018}
}
备注
correct link for GitHub