外梯度法：单调变分不等式的 $O(1/K)$ 末次迭代收敛及其与余强制性的联系
最优化与控制
2022-02-23 v2 机器学习
摘要
外梯度法（EG）（Korpelevich, 1976）是求解鞍点和变分不等式问题（VIP）最流行的方法之一。尽管其历史悠久且在优化界备受关注，关于 EG 的收敛性仍存在重要的开放问题。在本文中，我们解决了其中一个问题，并在不对算子施加额外假设的情况下，首次推导出了 EG 在单调且 Lipschitz 的 VIP 上的末次迭代 收敛速率，而唯一已知的此类结果（Golowich et al., 2020）依赖于算子 Jacobian 的 Lipschitz 性。该速率以算子平方范数的减小给出。此外，我们建立了关于 EG、乐观梯度法和哈密顿梯度法的更新算子在原始算子单调且 Lipschitz 时的（非）余强制性的一些结果。
引用
@article{arxiv.2110.04261,
title = {Extragradient Method: $O(1/K)$ Last-Iterate Convergence for Monotone Variational Inequalities and Connections With Cocoercivity},
author = {Eduard Gorbunov and Nicolas Loizou and Gauthier Gidel},
journal= {arXiv preprint arXiv:2110.04261},
year = {2022}
}
备注
AISTATS 2022; 37 pages, 4 figures. Changes in v2: structure was changed, minor typos are fixed, several additional clarifications were added. Code: https://github.com/eduardgorbunov/extragradient_last_iterate_AISTATS_2022