自适应黎曼梯度下降求解均衡问题的末次迭代收敛性
最优化与控制
2025-11-11 v2 计算机科学与博弈论
机器学习
摘要
黎曼流形上的均衡计算为机器学习与数据分析中的众多问题提供了统一框架。最简单却最基础的方法之一是黎曼梯度下降（RGD）。尽管其欧氏对应方法已被广泛研究，流形曲率如何在博弈论设定下影响 RGD 仍不清楚。本文通过建立针对测地强单调博弈的新收敛结果来填补这一空白。我们的关键结果表明，RGD 以几何无关的方式实现末次迭代线性收敛，这是机器学习应用中的关键性质。我们将该保证推广到随机与自适应变体——SRGD 与 FARGD——并证明：(i) SRGD 的采样复杂度是几何无关的，且关于噪声是最优的；(ii) FARGD 在常数因子范围内匹配其非自适应对应方法的收敛速率，同时避免对条件数的依赖。总体而言，本文给出了欧氏设定之外博弈的首个几何无关末次迭代收敛分析，凸显了 RGD 尽管简单却在求解广泛机器学习问题中的惊人能力。
引用
@article{arxiv.2306.16617,
title = {Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation},
author = {Yang Cai and Michael I. Jordan and Tianyi Lin and Argyris Oikonomou and Emmanouil-Vasileios Vlatakis-Gkaragkounis},
journal= {arXiv preprint arXiv:2306.16617},
year = {2025}
}
备注
28 pages; 12 figures