针对凸-强凹鞍点问题的加速原始对偶方法
最优化与控制
2023-05-19 v2 机器学习
摘要
我们研究了一种用于鞍点问题(SPP)的原始对偶(PD)方法，该方法使用原始函数的线性近似而非标准邻近步，从而得到线性化原始对偶(LPD)方法。对于凸-强凹SPP，我们观察到LPD方法对原始函数Lipschitz常数的依赖是非最优的。为修正此问题，我们将加速梯度下降的特性与LPD方法相结合，得到单循环加速线性化原始对偶(ALPD)方法。当SPP具有半线性耦合函数时，ALPD方法达到最优梯度复杂度。我们还提出了一种用于具有一般非线性耦合函数SPP的不精确ALPD方法，该方法保持了原始部分的最优梯度计算量，并与ALPD方法相比显著改善了耦合项的梯度计算量。我们通过数值实验验证了我们的发现。
引用
@article{arxiv.2209.04604,
title = {Accelerated Primal-Dual Methods for Convex-Strongly-Concave Saddle Point Problems},
author = {Mohammad Khalafi and Digvijay Boob},
journal= {arXiv preprint arXiv:2209.04604},
year = {2023}
}