Nesterov遇见乐观：速率最优的可分离极小极大优化
最优化与控制
2023-08-16 v2 计算机科学与博弈论
机器学习
机器学习
摘要
我们提出了一种新的首阶优化算法——加速梯度-乐观梯度（AG-OG）下降上升算法——用于可分离凸-凹极小极大优化。我们算法的主要思想是仔细利用极小极大问题的结构，在单个分量上执行Nesterov加速，在耦合分量上执行乐观梯度。配备适当的重启后，我们证明AG-OG在多种设定下实现了最优收敛速率（至多差一个常数），包括双线性耦合强凸-强凹极小极大优化（bi-SC-SC）、双线性耦合凸-强凹极小极大优化（bi-C-SC）以及双线性博弈。我们还将算法扩展到随机设定，并在bi-SC-SC与bi-C-SC两种设定下均达到最优收敛速率。AG-OG是首个在确定性及随机设定下对双线性耦合极小极大优化问题均具有最优收敛速率的单调用算法。
引用
@article{arxiv.2210.17550,
title = {Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization},
author = {Chris Junchi Li and Angela Yuan and Gauthier Gidel and Quanquan Gu and Michael I. Jordan},
journal= {arXiv preprint arXiv:2210.17550},
year = {2023}
}
备注
44 pages. This version matches the camera-ready that appeared at ICML 2023 under the same title