关于极大极小优化中负动量的次优性
最优化与控制
2021-01-27 v4 机器学习
机器学习
摘要
平滑博弈优化近年来在机器学习中引起了极大兴趣,因为它推广了单目标优化范式。然而,由于不同参与者之间的交互,博弈动力学更为复杂,因此从根本上不同于极小化,给算法设计带来了新挑战。值得注意的是,已表明负动量因其降低博弈动力学中振荡的能力而更受青睐。尽管如此,负动量的收敛速率仅在简单双线性博弈中得以确立。在本文中,我们通过采用变分不等式形式,将分析扩展至平滑且强凸-强凹的极大极小博弈。通过将动量法与切比雪夫多项式相联系,我们表明负动量能在局部加速博弈动力学的收敛,尽管其速率为次优的。据我们所知,这是在该设定下为负的动量提供显式收敛速率的首项工作。
引用
@article{arxiv.2008.07459,
title = {On the Suboptimality of Negative Momentum for Minimax Optimization},
author = {Guodong Zhang and Yuanhao Wang},
journal= {arXiv preprint arXiv:2008.07459},
year = {2021}
}
备注
AISTATS 2021