两时刻梯度升降动力学的收敛性：有限维与均场视角
最优化与控制
2025-10-13 v3 机器学习
数值分析
数值分析
摘要
两时刻梯度升降（GDA）是一种用于寻找 min-max 游戏纳什均衡的标准梯度算法。我们通过研究学习率比率对收敛行为的影响，在有限维和均场设置下分析两时刻 GDA。在特定情况下，对于有限维二次 min-max 游戏，我们通过 hypocoercivity 方法获得近准静态 regime 下的长期收敛。对于均场 GDA 动力学，我们采用混合同步-反射耦合技术，在有限尺度比率下进行收敛分析。
关键词
引用
@article{arxiv.2501.17122,
title = {Convergence of two-timescale gradient descent ascent dynamics: finite-dimensional and mean-field perspectives},
author = {Jing An and Jianfeng Lu},
journal= {arXiv preprint arXiv:2501.17122},
year = {2025}
}
备注
v3: added analysis of preconditioned GDA for finite-dimensional case and improved results for mean-field case