重访随机外梯度法
最优化与控制
2021-02-22 v2 机器学习
摘要
我们通过提供一种受隐式更新近似启发的新采样策略，修正了随机外梯度法中的一个基本问题。由于 (Juditsky 等人, 2011) 提出的现有随机外梯度算法（称为 Mirror-Prox）在定义域无界时于一个简单的双线性问题上发散，我们给出了求解变分不等式且超越现有设定的保证。此外，我们在数值上说明所提出的变体在双线性鞍点问题上比许多其他方法收敛更快。我们还讨论了外梯度如何应用于训练生成对抗网络（GANs），以及它与其他方法的比较。我们在 GANs 上的实验表明，所引入的方法在数据遍历次数方面可能使训练更快，而其更高的迭代复杂度使得这一优势变小。
引用
@article{arxiv.1905.11373,
title = {Revisiting Stochastic Extragradient},
author = {Konstantin Mishchenko and Dmitry Kovalev and Egor Shulgin and Peter Richtárik and Yura Malitsky},
journal= {arXiv preprint arXiv:1905.11373},
year = {2021}
}
备注
Accepted to AISTATS 2020. 16 pages, 9 figures, 2 algorithms