局部二次增长条件下的加速梯度方法自适应重启
最优化与控制
2019-10-04 v1
摘要
通过在局部二次增长条件下分析加速近端梯度方法，我们证明以任意频率重启这些算法都能得到全局线性收敛算法。该结果此前仅对足够长的频率已知。进而，由于收敛速率取决于频率与二次误差界的匹配程度，我们设计了一种方案，根据观测到的梯度映射范数下降自动调整重启频率。我们的算法在适应目标函数的二次误差界方面具有比先前提出的方法更好的理论界。我们在Lasso问题和正则化逻辑回归问题上说明了该算法的效率。
引用
@article{arxiv.1709.02300,
title = {Adaptive restart of accelerated gradient methods under local quadratic growth condition},
author = {Olivier Fercoq and Zheng Qu},
journal= {arXiv preprint arXiv:1709.02300},
year = {2019}
}