交替最小化与 Nesterov 动量的一种结合
最优化与控制
2021-09-16 v5 机器学习
摘要
交替最小化(AM)过程在求解凸和非凸优化问题的许多应用中具有实际高效性。另一方面,Nesterov 加速梯度是凸优化在理论上最优的一阶方法。本文结合 AM 与 Nesterov 加速,提出一种加速交替最小化算法。我们证明了对于凸问题目标函数的 收敛速率,以及对于非凸问题平方梯度范数的 收敛速率,其中 为迭代次数。我们的方法不需要任何关于问题凸性或函数参数(如梯度 Lipschitz 常数)的先验知识,即它自适应于凸性与光滑性,并对光滑凸与非凸问题一致最优。进一步,我们针对带线性约束的强凸问题发展了其对偶-原始修正,并证明了原始目标残差与约束可行性的相同 速率。
引用
@article{arxiv.1906.03622,
title = {On a Combination of Alternating Minimization and Nesterov's Momentum},
author = {Sergey Guminov and Pavel Dvurechensky and Nazarii Tupitsa and Alexander Gasnikov},
journal= {arXiv preprint arXiv:1906.03622},
year = {2021}
}
备注
Compared to previous versions: dual WB problem and complexity analysis for WB problem corrected, updated and extended experiments