光滑凸凹鞍点问题中乐观梯度与额外梯度方法的 $\mathcal{O}(1/k)$ 收敛速率
最优化与控制
2020-09-30 v3 机器学习
机器学习
摘要
我们研究了乐观梯度下降-上升（OGDA）方法和额外梯度（EG）方法在寻找凸凹无约束极小极大问题鞍点时的迭代复杂度。为此，我们首先证明 OGDA 和 EG 均可解释为邻近点方法的近似变体。这与 [Nemirovski, 2004] 中将 EG 分析为“概念镜像邻近”近似的方法类似。本文中，我们着重说明 OGDA 和 EG 中使用的梯度如何试图近似邻近点方法的梯度。然后我们利用这一解释证明两种算法产生的迭代点均保持在有界集合内。我们进一步证明这两种算法生成的平均迭代点的原始对偶间隙以 的速率收敛。我们的理论分析具有重要意义，因为它给出了 OGDA 在一般凸凹设定下的首个收敛速率估计。此外，它在无需紧性假设的情况下，为 EG 算法提供了基于函数值的简单收敛分析。
引用
@article{arxiv.1906.01115,
title = {Convergence Rate of $\mathcal{O}(1/k)$ for Optimistic Gradient and Extra-gradient Methods in Smooth Convex-Concave Saddle Point Problems},
author = {Aryan Mokhtari and Asuman Ozdaglar and Sarath Pattathil},
journal= {arXiv preprint arXiv:1906.01115},
year = {2020}
}
备注
19 pages