切换与征服：通过切换随机梯度预言机求解去中心化鞍点问题的高效算法
机器学习
2023-09-14 v2 分布式、并行与集群计算
数据结构与算法
最优化与控制
摘要
我们考虑在无中心服务器的去中心化设置中一类非光滑强凸-强凹鞍点问题。为求解该类问题的共识形式，我们开发了一种不精确原始对偶混合梯度（inexact PDHG）流程，允许使用通用梯度计算预言机来更新原始和对偶变量。我们首先研究了采用随机方差缩减梯度（SVRG）预言机的不精确PDHG的性能。我们的数值研究揭示了一个显著现象：采用SVRG预言机的IPDHG迭代在初始阶段进展保守。为此，我们提出了一种简单而有效的切换思路，即在更新初始阶段采用广义随机梯度（GSG）计算预言机加速迭代向鞍点解的进展，随后在适当时刻切换至SVRG预言机。所提算法命名为带压缩的去中心化近端切换随机梯度方法（C-DPSSG），并被证明能以线性收敛速率收敛到精度的鞍点解。除提供高精度解外，我们的研究表明利用GSG与SVRG预言机的最佳收敛阶段使C-DPSSG非常适用于更快地获得低/中精度解，这对某些应用颇有用处。在两个基准机器学习应用上的数值实验显示了C-DPSSG的竞争性性能，验证了我们的理论发现。实验中使用的代码可在\href{https://github.com/chhavisharma123/C-DPSSG-CDC2023}{此处}找到。
引用
@article{arxiv.2309.00997,
title = {Switch and Conquer: Efficient Algorithms By Switching Stochastic Gradient Oracles For Decentralized Saddle Point Problems},
author = {Chhavi Sharma and Vishnu Narayanan and P. Balamurugan},
journal= {arXiv preprint arXiv:2309.00997},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2205.14452