中文

零和博弈中基于梯度的算法无需条件数的 $\text{log}(1/\epsilon)$ 收敛性:一种平滑分析

计算机科学与博弈论 2024-10-30 v1

摘要

基于梯度的算法在求解大型(双人)零和博弈中展现出了巨大潜力。然而,其成功主要局限于低精度区间,因为迭代次数与 1/ϵ1/\epsilon 呈多项式增长,其中 ϵ>0\epsilon > 0 为对偶间隙。尽管已有充分文献表明,即使使用基于梯度的算法也能实现线性收敛——即迭代复杂度按 log(1/ϵ)\textsf{log}(1/\epsilon) 标度——但这是以引入对某些类似条件数的量的依赖为代价的,而这些量在博弈的描述中可能呈指数级大小。为了解决这一缺陷,我们在著名的平滑分析框架下研究了几种基于梯度的算法的迭代复杂度,并证明它们具有多项式的平滑复杂度,即其迭代次数按博弈维数、log(1/ϵ)\textsf{log}(1/\epsilon)1/σ1/\sigma 的多项式增长,其中 σ\sigma 衡量平滑扰动的大小。我们的结果适用于乐观梯度与额外梯度下降/上升法,以及 Nesterov 平滑技术的一种特定迭代变体。从技术角度来看,证明过程通过对某种误差界进行刻画和平滑分析来推进,该误差界是驱动零和博弈中线性收敛的关键要素。在此过程中,我们的刻画还在此类算法的收敛速率与均衡的扰动稳定性之间建立了自然联系,这一联系在平滑分析模型之外亦具有研究价值。

关键词

引用

@article{arxiv.2410.21636,
  title  = {Convergence of $\text{log}(1/\epsilon)$ for Gradient-Based Algorithms in Zero-Sum Games without the Condition Number: A Smoothed Analysis},
  author = {Ioannis Anagnostides and Tuomas Sandholm},
  journal= {arXiv preprint arXiv:2410.21636},
  year   = {2024}
}

备注

To appear at NeurIPS 2024