无双线性结构问题中收敛速度快于 $O(1/\sqrt{T})$ 的随机原始对偶算法
机器学习
2019-12-20 v2 最优化与控制
机器学习
摘要
以往关于求解 min-max 问题且具有更快收敛速度的随机原始对偶算法的研究严重依赖于问题的双线性结构，这将其适用性限制在一类较窄的问题上。本文的主要贡献是设计并分析新的随机原始对偶算法，这些算法采用随机梯度更新与对数次数的确定性对偶更新相混合的方式，用于求解一类不假设具有双线性结构的凸-凹问题。在关于原始变量和对偶变量的相关函数的一些温和条件下，建立了快于 （其中 为随机梯度更新次数）的收敛速率。例如，对于一类在原始变量上满足弱强凸性且对偶变量为强凹函数的问题，所提算法的收敛速率为 。我们还研究了所提算法在学习鲁棒模型和经验 AUC 最大化中的有效性。
引用
@article{arxiv.1904.10112,
title = {Stochastic Primal-Dual Algorithms with Faster Convergence than $O(1/\sqrt{T})$ for Problems without Bilinear Structure},
author = {Yan Yan and Yi Xu and Qihang Lin and Lijun Zhang and Tianbao Yang},
journal= {arXiv preprint arXiv:1904.10112},
year = {2019}
}