一种用于设计具有给定理论收敛估计的凸优化方法的新统一框架：一种数值分析途径
最优化与控制
2023-02-16 v1 数值分析
数值分析
摘要
我们从数值分析的视角提出了一种描述和设计基于梯度的凸优化方法的新统一框架。其中的关键概念是弱离散梯度（weak DG），它是数值分析中标准离散梯度的推广。借助弱离散梯度，我们考虑抽象优化方法，并证明统一的收敛速率估计，该估计除最终估计中的某些常数外独立于弱离散梯度的选择而成立。通过某些弱离散梯度的选择，我们可以复现许多现有的流行方法，例如最速下降法和 Nesterov 加速梯度法，以及数值分析界的一些近期变体。通过考虑新的弱离散梯度，我们可以轻松探索具有理论保证的新优化方法；我们给出了若干示例。我们相信本工作是首次尝试将迄今独立发展的优化与数值分析研究领域完全整合。
引用
@article{arxiv.2302.07404,
title = {A new unified framework for designing convex optimization methods with prescribed theoretical convergence estimates: A numerical analysis approach},
author = {Kansei Ushiyama and Shun Sato and Takayasu Matsuo},
journal= {arXiv preprint arXiv:2302.07404},
year = {2023}
}