激进探索，保守更新：变步长缩放的随机外梯度法
最优化与控制
2020-11-06 v2 计算机科学与博弈论
机器学习
摘要
由于其稳定性与收敛速度，外梯度法已成为机器学习中求解大规模鞍点问题的主力。这些算法的基本前提是在执行更新之前使用外推步；得益于这一探索步，外梯度法克服了许多困扰梯度下降/上升方案的不可收敛问题。另一方面，正如我们在本文中所展示的，即便在简单双线性模型中，使用随机梯度运行原始外梯度法也可能危及其收敛性。为克服这一失效，我们研究了一种双步长外梯度算法，其中探索步以比更新步更激进的时间尺度演化。我们表明这一修正使得该方法即便在随机梯度下也能收敛，并在误差界条件下推导出尖锐的收敛速率。
引用
@article{arxiv.2003.10162,
title = {Explore Aggressively, Update Conservatively: Stochastic Extragradient Methods with Variable Stepsize Scaling},
author = {Yu-Guan Hsieh and Franck Iutzeler and Jérôme Malick and Panayotis Mertikopoulos},
journal= {arXiv preprint arXiv:2003.10162},
year = {2020}
}
备注
In Advances in Neural Information Processing Systems 33 (NeurIPS 2020); 29 pages, 5 figures