快速且安全：具有最优性证书与下界序列的加速梯度方法
最优化与控制
2021-02-16 v2 机器学习
摘要
在这项工作中，我们引入了下界序列 (Underestimate Sequence, UES) 的概念，该概念受 Nesterov 的估计序列启发。我们对 UES 的定义利用了三个序列，其中一个是目标函数的下界（或下估计器）。我们解决了如何构造适当的下界序列的问题，并给出了强凸光滑函数和强凸复合函数的下界，这些下界符合 UES 框架。此外，我们提出了几种用于最小化强凸函数的一阶方法，涵盖光滑和复合两种情况。这些算法基于对目标函数下界的高效更新，具有自然的停止条件，可为用户提供最优性证书。所有算法的收敛性均通过 UES 框架得到保证，并且我们证明所有提出的算法均线性收敛，其中加速变体享有最优的线性收敛速率。
引用
@article{arxiv.1710.03695,
title = {Fast and Safe: Accelerated gradient methods with optimality certificates and underestimate sequences},
author = {Majid Jahani and Naga Venkata C. Gudapati and Chenxin Ma and Rachael Tappenden and Martin Takáč},
journal= {arXiv preprint arXiv:1710.03695},
year = {2021}
}