基于不精确模型的优化与变分不等式的不精确相对光滑性与强凸性
最优化与控制
2021-12-21 v9
摘要
在本文中，我们提出了一种广义的一阶方法算法框架，涵盖优化问题（包括最小化问题、鞍点问题和变分不等式）。该框架可将许多已知方法作为特例得到，其中包括加速梯度法、复合优化方法、水平集方法、Bregman邻近方法。该框架的思想基于构造主问题组件（即优化中的目标函数或变分不等式中的算子）的不精确模型。除了复现已知结果外，我们的框架还可构造新方法，我们通过构造一种通用条件梯度方法和一种针对具有复合结构的变分不等式的通用方法来加以说明。该方法在无需先验知道问题光滑性的情况下，对光滑和非光滑问题均以最优复杂度工作。作为我们一般框架的特例，我们引入了算子的相对光滑性，并提出了一种针对具有此类算子的变分不等式（VIs）的算法。我们还将框架推广到相对强凸目标函数和强单调变分不等式。本文是[arXiv:1902.00990]的扩展和更新版本。特别地，我们增加了针对优化和变分不等式的相对强凸性的推广。
引用
@article{arxiv.2001.09013,
title = {Inexact Relative Smoothness and Strong Convexity for Optimization and Variational Inequalities by Inexact Model},
author = {Fedor Stonyakin and Alexander Tyurin and Alexander Gasnikov and Pavel Dvurechensky and Artem Agafonov and Darina Dvinskikh and Mohammad Alkousa and Dmitry Pasechnyuk and Sergei Artamonov and Victorya Piskunova},
journal= {arXiv preprint arXiv:2001.09013},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:1902.00990. To appear in Optimization Methods and Software, https://doi.org/10.1080/10556788.2021.1924714