广义加速复合梯度法：统一 Nesterov 快速梯度法与 FISTA
最优化与控制
2021-09-29 v2
摘要
求解大规模凸优化问题最流行的一阶加速黑箱方法是快速梯度法（FGM）和快速迭代收缩阈值算法（FISTA）。FGM 要求目标函数有限且可微，并已知梯度利普希茨常数。FISTA 适用于更广泛的复合目标函数类，并配备线搜索程序来估计利普希茨常数。然而，FISTA 不能增大步长，也无法利用强凸性。FGM 和 FISTA 在形式上非常相似。尽管如此，它们的收敛性分析似乎大相径庭。在这项工作中，我们推广了先前引入的增广估计序列框架以及相关的间隙序列概念。我们通过构建一个广义加速复合梯度法来展示我们工具的灵活性，该方法统一了 FGM 和 FISTA 及其最流行的变体。推导我们方法所用的广义间隙序列的李雅普诺夫性质表明，FGM 和 FISTA 都适用于优化算法中常见的李雅普诺夫分析。我们进一步通过赋予我们的方法单调递减的目标函数值以及一个通用的线搜索程序来展示我们工具的灵活性。通过同时融合 FGM 和 FISTA 的优势，我们的方法在鲁棒性和可用性方面均能超越两者。我们通过在广泛的复合问题基准上的仿真结果来支持我们的发现。我们的实验表明，单调性对收敛具有稳定作用，并挑战了文献中关于强凸目标函数下加速近端格式可简化为固定动量方法的观念。
引用
@article{arxiv.1705.10266,
title = {A Generalized Accelerated Composite Gradient Method: Uniting Nesterov's Fast Gradient Method and FISTA},
author = {Mihai I. Florea and Sergiy A. Vorobyov},
journal= {arXiv preprint arXiv:1705.10266},
year = {2021}
}