联邦极小极大优化：改进收敛性分析与算法
最优化与控制
2022-03-10 v1 分布式、并行与集群计算
机器学习
摘要
本文考虑非凸极小极大优化，该问题在 GAN 等许多现代机器学习应用中日益重要。这些应用中基于边缘的大规模训练数据收集需要通信高效的分布式优化算法（如联邦学习中所用）来处理数据。本文我们分析局部随机梯度下降 ascent（SGDA），即 SGDA 算法的局部更新版本。SGDA 是极小极大优化的核心算法，但在分布式环境下的性质尚不清楚。我们证明 Local SGDA 对几类非凸-凹和非凸-非凹极小极大问题具有阶最优的样本复杂度，并且相对于客户端数量享有线性加速。我们提供了一种新颖且更紧的分析，改进了现有文献中的收敛与通信保证。对于非凸-PL 和非凸-一点-凹函数，我们改进了集中式极小极大问题的现有复杂度结果。此外，我们提出了一种基于动量的局部更新算法，其具有相同的收敛保证，但如我们的实验所示优于 Local SGDA。
引用
@article{arxiv.2203.04850,
title = {Federated Minimax Optimization: Improved Convergence Analyses and Algorithms},
author = {Pranay Sharma and Rohan Panda and Gauri Joshi and Pramod K. Varshney},
journal= {arXiv preprint arXiv:2203.04850},
year = {2022}
}
备注
52 pages, 4 figures