关于随机原始对偶混合梯度的收敛性
最优化与控制
2022-06-23 v3
摘要
在本文中，我们分析近期提出的随机原始对偶混合梯度（SPDHG）算法并提供新的理论结果。特别地，我们使用独立于强凸性或其他正则性常数的标准步长，证明了迭代点几乎必然收敛到解，并在具备进一步结构时线性收敛。在一般凸情形下，我们还证明了遍历序列在期望原始对偶间隙函数上的 收敛速率。我们关于线性收敛的假设是度量次正则性，这除了许多非光滑和/或非强凸问题（如线性规划、Lasso 和支持向量机）外，也为强凸-强凹问题所满足。我们还提供数值证据，表明带有标准步长的 SPDHG 相对于其专门的强凸变体 SPDHG- 以及其他最先进算法（包括方差缩减方法）展现出有竞争力的实际性能。
引用
@article{arxiv.1911.00799,
title = {On the convergence of stochastic primal-dual hybrid gradient},
author = {Ahmet Alacaoglu and Olivier Fercoq and Volkan Cevher},
journal= {arXiv preprint arXiv:1911.00799},
year = {2022}
}