末次迭代收敛：零和博弈与约束极小极大优化
最优化与控制
2025-09-30 v5 计算机科学与博弈论
机器学习
摘要
受博弈论、优化以及生成对抗网络（GAN）应用的推动，Daskalakis等人（DISZ17）的近期工作以及Liang和Stokes（LiangS18）的后续工作已确立：一种广泛使用的梯度下降/上升过程的变体，称为“乐观梯度下降/上升（OGDA）”，在不受约束的凸-凹极小极大优化问题中表现出末次迭代收敛到鞍点。我们证明在更一般的约束极小极大优化问题中，在一种无遗憾乘性权重更新方法的变体“乐观乘性权重更新（OMWU）”下，同样成立。这回答了Syrgkanis等人（SALS15）的一个开放问题。我们结果的证明需要与该无遗憾学习文献及上述论文中已有的技术根本不同的技术。我们证明OMWU单调地改善当前迭代到（适当归一化的）极小极大解的Kullback-Leibler散度，直到其进入解的一个邻域。在该邻域内，我们证明OMWU是局部（渐近）稳定并收敛到精确解的。我们相信我们的技术将有益于其他学习算法末次迭代的分析。
引用
@article{arxiv.1807.04252,
title = {Last-Iterate Convergence: Zero-Sum Games and Constrained Min-Max Optimization},
author = {Constantinos Daskalakis and Ioannis Panageas},
journal= {arXiv preprint arXiv:1807.04252},
year = {2025}
}
备注
Appeared in ITCS 2019. The new version fixes an issue in the proof of Lemma B.4 of previous version (Lemma B.3 in this version)