竞争梯度优化
最优化与控制
2022-05-31 v1 机器学习
摘要
我们研究零和博弈中收敛到驻点的问题。我们提出竞争梯度优化（CGO），一种基于梯度的方法，其在优化更新中纳入零和博弈中两个参与者的交互。我们给出 CGO 的连续时间分析及其收敛性质，同时表明在连续极限下，CGO 的前身退化为其梯度下降上升（GDA）变体。我们给出到驻点的收敛速率，并进一步提出一类广义的 -coherent 函数，对其我们提供收敛分析。我们表明对于严格 -coherent 函数，我们的算法收敛到鞍点。此外，我们提出乐观 CGO（OCGO），一种乐观变体，对其我们展示了在 -coherent 函数类中的鞍点收敛速率。
引用
@article{arxiv.2205.14232,
title = {Competitive Gradient Optimization},
author = {Abhijeet Vyas and Kamyar Azizzadenesheli},
journal= {arXiv preprint arXiv:2205.14232},
year = {2022}
}