无强凸性下凸凹鞍点问题的原始对偶梯度法线性收敛
最优化与控制
2019-02-05 v2 机器学习
机器学习
摘要
我们考虑凸凹鞍点问题 ，其中 光滑且凸， 光滑且强凸。我们证明若耦合矩阵 具有满列秩，则即便 不是强凸的，原始对偶梯度法也能实现线性收敛。我们的结果推广了先前工作——那些工作要么要求 与 为二次函数，要么要求对 和 均使用邻近映射。我们采用一种新颖的分析技术，在每次迭代中使用一个“幽灵”更新作为参考，并表明原始对偶梯度法中的迭代收敛于该“幽灵”序列。利用相同技术，我们进一步给出了针对具有有限和结构的凸凹鞍点问题的原始对偶随机方差缩减梯度（SVRG）法的分析。
引用
@article{arxiv.1802.01504,
title = {Linear Convergence of the Primal-Dual Gradient Method for Convex-Concave Saddle Point Problems without Strong Convexity},
author = {Simon S. Du and Wei Hu},
journal= {arXiv preprint arXiv:1802.01504},
year = {2019}
}
备注
Published in AISTATS 2019