中文

Riemann 流形上单调最小-最大算法至差分均衡的局部收敛性分析

机器学习 2025-03-04 v3 最优化与控制 机器学习

摘要

我们研究了用于求解黎巴洛瓦流形上零和差分博弈的最小-最大算法。基于黎巴洛瓦流形上的差分斯塔克尔伯格均衡和差分纳什均衡的概念,我们分析了两种代表性确定性同时算法 τ\tau-GDA 和 τ\tau-SGA 至此类均衡的局部收敛性。我们获得了基于黎巴洛瓦上 Ostrowski 定理和谱分析建立 τ\tau-GDA 线性收敛率的充分条件。为了避免 τ\tau-GDA 中的强旋转动力学,τ\tau-SGA 由欧几里得空间上的符号梯度调整方法推广而来。我们分析了当学习率比率 τ\tau 较大时 τ\tau-SGA 的渐近近似。在某些情况下,它比 τ\tau-GDA 达到更快的收敛速度以差分斯塔克尔伯格均衡为目标。我们在简单基准测试上使用随机 τ\tau-GDA 和 τ\tau-SGA 对正交 Wasserstein GAN 进行训练,展示了从收敛分析中获得的见解如何改进训练过程。

关键词

引用

@article{arxiv.2405.13392,
  title  = {Local convergence of simultaneous min-max algorithms to differential equilibrium on Riemannian manifold},
  author = {Sixin Zhang},
  journal= {arXiv preprint arXiv:2405.13392},
  year   = {2025}
}

备注

iclr 2025