针对凸优化与强凸优化的高效无参数重启加速梯度方法
最优化与控制
2024-10-15 v2
摘要
本文发展了一种新的无参数重启方法，称为 RPF-SFISTA，以及一种新的无参数激进正则化方法，称为 A-REG，用于解决强凸和凸复合优化问题。RPF-SFISTA 的主要优势在于它既不需要整个复合目标函数的强凸性参数，也不需要梯度的 Lipschitz 常数。与其他几种在执行固定数量的加速复合梯度 (ACG) 迭代后才重启的加速复合梯度方法不同，RPF-SFISTA 在每个迭代步骤时都检查一个关键不等式，以确定是否重启。大量计算实验表明，RPF-SFISTA 在四类重要问题上，比其他最先进的重启方法快约 3 倍至 15 倍。A-REG 方法是为凸复合优化开发的，其解决每个强凸正则化子问题时，根据 stationarity 准则使用 RPF-SFISTA 方法，以可能更激进的初始强凸性估计进行求解。这种方案比其他几种在其子问题中运行标准 ACG 方法进行固定迭代数的正则化方法更为激进。
引用
@article{arxiv.2410.04248,
title = {Efficient parameter-free restarted accelerated gradient methods for convex and strongly convex optimization},
author = {Arnesh Sujanani and Renato D. C. Monteiro},
journal= {arXiv preprint arXiv:2410.04248},
year = {2024}
}