中文

关于极大极小优化中负动量的次优性

最优化与控制 2021-01-27 v4 机器学习 机器学习

摘要

平滑博弈优化近年来在机器学习中引起了极大兴趣,因为它推广了单目标优化范式。然而,由于不同参与者之间的交互,博弈动力学更为复杂,因此从根本上不同于极小化,给算法设计带来了新挑战。值得注意的是,已表明负动量因其降低博弈动力学中振荡的能力而更受青睐。尽管如此,负动量的收敛速率仅在简单双线性博弈中得以确立。在本文中,我们通过采用变分不等式形式,将分析扩展至平滑且强凸-强凹的极大极小博弈。通过将动量法与切比雪夫多项式相联系,我们表明负动量能在局部加速博弈动力学的收敛,尽管其速率为次优的。据我们所知,这是在该设定下为负的动量提供显式收敛速率的首项工作。

关键词

引用

@article{arxiv.2008.07459,
  title  = {On the Suboptimality of Negative Momentum for Minimax Optimization},
  author = {Guodong Zhang and Yuanhao Wang},
  journal= {arXiv preprint arXiv:2008.07459},
  year   = {2021}
}

备注

AISTATS 2021