外梯度与乐观梯度下降-上升算法在约束单调变分不等式上的紧致末次迭代收敛性
最优化与控制
2022-05-17 v3 数据结构与算法
计算机科学与博弈论
机器学习
摘要
单调变分不等式是数学规划中的核心问题,它统一并推广了许多重要设定,如光滑凸优化、二人零和博弈、凸-凹鞍点问题等。Korpelevich [1976] 的外梯度算法与 Popov [1980] 的乐观梯度下降-上升算法可以说是求解单调变分不等式最经典且最流行的两种方法。尽管历史悠久,以下主要问题仍然开放:对于带约束的单调且 Lipschitz 变分不等式,外梯度算法或乐观梯度下降-上升算法的末次迭代收敛速率是多少?我们通过证明外梯度算法与乐观梯度下降-上升算法对于任意凸可行集均具有紧致的 末次迭代收敛速率,解决了这一开放问题,该速率与 Golowich 等人 [2020a,b] 的下界相匹配。我们的速率以标准间隙函数度量。我们结果的核心在于一种非标准的性能度量——切向残差,可视为考虑了局部约束的算子范数的一种适应。我们在外梯度算法(或乐观梯度下降-上升算法)的分析中使用切向残差(或切向残差的轻微变体)作为势函数,并证明其在两次连续迭代之间是非增的。
引用
@article{arxiv.2204.09228,
title = {Tight Last-Iterate Convergence of the Extragradient and the Optimistic Gradient Descent-Ascent Algorithm for Constrained Monotone Variational Inequalities},
author = {Yang Cai and Argyris Oikonomou and Weiqiang Zheng},
journal= {arXiv preprint arXiv:2204.09228},
year = {2022}
}
备注
We are including the OGDA result for unconstrained and constrained settings in this version. We further simplified the proof for EG and OGDA algorithm