关于鞍点问题的缩放方法

Aleksandr Beznosikov; Aibek Alanov; Dmitry Kovalev; Martin Takáč; Alexander Gasnikov

关于鞍点问题的缩放方法

机器学习 2023-06-22 v2 最优化与控制

作者: Aleksandr Beznosikov , Aibek Alanov , Dmitry Kovalev , Martin Takáč , Alexander Gasnikov

摘要

具有不同特征自适应缩放的方法在求解鞍点问题中起关键作用，主要由于Adam在求解对抗机器学习问题（包括GANs训练）中的流行。本文对求解SPP的以下缩放技术进行理论分析：著名的Adam与RmsProp缩放，以及基于Hutchison近似的较新的AdaHessian与OASIS。我们以Extra Gradient及其带负动量的改进版作为基本方法。在GANs上的实验研究表明，不仅Adam，其他较不流行的方法也具有良好的适用性。

关键词

鞍点问题自适应缩放 Adam RmsProp AdaHessian OASIS GANs

引用

@article{arxiv.2206.08303,
  title  = {On Scaled Methods for Saddle Point Problems},
  author = {Aleksandr Beznosikov and Aibek Alanov and Dmitry Kovalev and Martin Takáč and Alexander Gasnikov},
  journal= {arXiv preprint arXiv:2206.08303},
  year   = {2023}
}

备注

54 pages, 2 algorithms with 4 options for each, 12 figures, 5 tables, 2 theorems

关于鞍点问题的缩放方法

摘要

关键词

引用

备注

相关论文