统一重启加速梯度法与proximal bundle方法
最优化与控制
2025-01-09 v1
摘要
本文提出了 Nesterov 加速梯度法的一种新型重启版本,并为解决凸光滑复合优化问题建立其最优迭代复杂度。所提出的重启加速梯度法被证明是由 Monteiro 与 Svaiter 在《An accelerated hybrid proximal extragradient method for convex optimization and its implications to second-order methods》(SIAM Journal on Optimization, 2013)中引入的不精确 proximal 点框架的一个具体实例。进一步本文考察了 proximal bundle 方法 within 不精确 proximal 点框架,证明其是一个该框架的实例。值得注意的是,本文为两种看似迥异的优化方法,即重启加速梯度法与 proximal bundle 方法之间的统一算法原理提供了新见解。
引用
@article{arxiv.2501.04165,
title = {Unifying restart accelerated gradient and proximal bundle methods},
author = {Jiaming Liang},
journal= {arXiv preprint arXiv:2501.04165},
year = {2025}
}
备注
14 pages