求解极小极大问题的最优多阶段随机梯度方法
最优化与控制
2020-02-14 v1 机器学习
机器学习
摘要
本文研究在光滑且强凸-强凹设定下、可获取梯度噪声估计的极小极大优化问题。具体地，我们首先分析步长固定的随机梯度下降上升（GDA）方法，证明其收敛到极小极大问题解的一个邻域。我们进一步给出该邻域收敛速率与大小的确切界。接下来，我们提出随机 GDA 的多阶段变体（M-GDA），其以多阶段运行并采用特定的学习率衰减 schedule，收敛到极小极大问题的精确解。我们证明 M-GDA 在噪声依赖方面达到下界，且无需任何关于噪声特征的先验假设。我们还证明 M-GDA 关于误差对初始误差的依赖取得线性衰减率，尽管其对条件数的依赖是非最优的。为改进这一依赖，我们将多阶段机制应用于随机乐观梯度下降上升（OGDA）算法，提出 M-OGDA 算法，其同样达到关于初始误差的最优线性衰减率。据我们所知，该方法是首个同时实现对噪声特征以及初始误差和条件数最佳依赖的方法。
引用
@article{arxiv.2002.05683,
title = {An Optimal Multistage Stochastic Gradient Method for Minimax Problems},
author = {Alireza Fallah and Asuman Ozdaglar and Sarath Pattathil},
journal= {arXiv preprint arXiv:2002.05683},
year = {2020}
}