通过高分辨率微分方程实现鞍点优化器的末次迭代收敛
最优化与控制
2023-08-01 v3 机器学习
机器学习
摘要
几种广泛使用的首阶鞍点优化方法在朴素推导下给出与梯度下降上升（GDA）方法相同的连续时间常微分方程（ODE）。然而，即便在简单的双线性博弈上，这些方法的收敛性质也有质的不同。因此，在单目标优化方法分析中已被证明强有力的ODE视角，在鞍点优化中并未发挥类似作用。我们采用流体动力学中研究的一个框架——称为高分辨率微分方程（HRDEs）——为若干鞍点优化方法设计微分方程模型。关键在于，这些HRDE对于不同鞍点优化方法是不同的。此外，在双线性博弈中，HRDE的收敛性质与相应离散方法的定性特征相匹配。另外，我们证明了乐观梯度下降上升（OGDA）的HRDE对于一般单调变分不等式表现出末次迭代收敛。最后，仅依靠单调算子的首阶光滑性，我们给出了OGDA方法最佳迭代收敛的收敛速率。
引用
@article{arxiv.2112.13826,
title = {Last-Iterate Convergence of Saddle-Point Optimizers via High-Resolution Differential Equations},
author = {Tatjana Chavdarova and Michael I. Jordan and Manolis Zampetakis},
journal= {arXiv preprint arXiv:2112.13826},
year = {2023}
}