动量外梯度法何时最优？一种基于多项式的分析
机器学习
2024-02-13 v3 最优化与控制
机器学习
摘要
外梯度法因其在可微博弈中的鲁棒收敛特性而广受欢迎。与单目标优化不同，博弈动力学涉及复杂的相互作用，这反映在博弈向量场雅可比矩阵的特征值散布在复平面上。这种复杂性可能导致简单的梯度方法发散，即使对于双线性博弈也是如此，而外梯度法则能实现收敛。基于最近证明的动量外梯度法在双线性博弈中的加速收敛性 [azizian2020accelerating]，我们使用基于多项式的分析来识别该方法展现进一步加速收敛的三种不同场景。这些场景涵盖了特征值位于（正）实轴上、位于实轴上并伴有复共轭对、或仅以复共轭对形式存在的情况。此外，我们为每种场景推导出了实现最快收敛速度的超参数。
引用
@article{arxiv.2211.04659,
title = {When is Momentum Extragradient Optimal? A Polynomial-Based Analysis},
author = {Junhyung Lyle Kim and Gauthier Gidel and Anastasios Kyrillidis and Fabian Pedregosa},
journal= {arXiv preprint arXiv:2211.04659},
year = {2024}
}