光滑博弈中的随机梯度下降-上升与共识优化：期望余强制条件下的收敛分析
机器学习
2021-11-05 v2 计算机科学与博弈论
最优化与控制
机器学习
摘要
求解无约束光滑博弈最突出的两种算法是经典的随机梯度下降-上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder 等人，2017]。已知 SGDA 对特定类别的博弈收敛到驻点，但当前的收敛分析需要方差有界假设。SCO 已成功用于求解大规模对抗问题，但其收敛保证仅限于其确定性变体。本文中，我们引入期望余强制条件，解释其益处，并在该条件下首次给出 SGDA 和 SCO 求解一类可能非单调的随机变分不等式问题的末次迭代收敛保证。我们证明了当使用常数步长时两种方法线性收敛到解的邻域，并提出了富有洞见的步长切换规则以保证收敛到精确解。此外，我们的收敛保证在任意采样范式下成立，并由此给出了小批量复杂度的洞见。
引用
@article{arxiv.2107.00052,
title = {Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity},
author = {Nicolas Loizou and Hugo Berard and Gauthier Gidel and Ioannis Mitliagkas and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2107.00052},
year = {2021}
}
备注
35th Conference on Neural Information Processing Systems (NeurIPS 2021)