中文

交替镜像下降法的辛分析

最优化与控制 2025-11-18 v4 计算机科学与博弈论 机器学习 数值分析 动力系统 数值分析

摘要

出于理解双线性零和博弈中交替镜像下降法(Alternating Mirror Descent, AMD)算法行为的动机,我们利用辛 Euler 方法研究了连续时间 Hamilton 流的离散化。我们提供了一个利用 Hamilton 动力学、Lie 代数和辛数值积分器结果的分析框架,重点关注辛 Euler 方法中守恒量即修正 Hamilton 量(Modified Hamiltonian, MH)的存在性及其性质。当原始 Hamilton 量是二次函数时,我们以封闭形式计算了 MH,并表明它通常不同于该情形下先前已知的另一个守恒量。我们推导出了 MH 在按步长阶数截断时的新误差界,该误差界以迭代次数 KK 表示,并利用这些界证明了 AMD 具有改进的 O(K1/5)\mathcal{O}(K^{1/5}) 总遗憾界和平均迭代的 O(K4/5)\mathcal{O}(K^{-4/5}) 对偶间隙。最后,我们提出了一个猜想:若该猜想成立,则意味着对于任意 ε>0\varepsilon>0,AMD 的总遗憾量以 O(Kε)\mathcal{O}\left(K^{\varepsilon}\right) 规模增长,平均迭代的对偶间隙以 O(K1+ε)\mathcal{O}\left(K^{-1+\varepsilon}\right) 规模增长;并且在 MH 满足特定收敛条件时,我们可以取 ε=0\varepsilon=0

关键词

引用

@article{arxiv.2405.03472,
  title  = {A Symplectic Analysis of Alternating Mirror Descent},
  author = {Jonas Katona and Xiuyuan Wang and Andre Wibisono},
  journal= {arXiv preprint arXiv:2405.03472},
  year   = {2025}
}

备注

99 pages, 3 figures