局部随机梯度下降上升法：收敛性分析与通信效率
机器学习
2021-03-01 v1 最优化与控制
摘要
局部 SGD 是一种通过降低工作节点间同步频率来克服分布式学习中通信开销的有前景的方法。尽管局部 SGD 在经验风险最小化方面近期取得了理论进展，但其对应方法在极小极大优化中的效率仍未被探索。受大规模极小极大学习问题（如对抗鲁棒学习和训练生成对抗网络（GANs））的推动，我们提出局部随机梯度下降上升法（local SGDA），其中原始和对偶变量可在本地训练并周期性平均，以显著减少通信次数。我们证明了 local SGDA 能够在同构和异构数据下可证明地优化分布式极小极大问题，并在强凸-强凹和非凸-强凹设定下建立了收敛速率。此外，我们提出了一种新颖变体 local SGDA+，用于求解非凸-非凹问题。我们在不同的分布式极小极大问题上给出了佐证性的经验证据。
引用
@article{arxiv.2102.13152,
title = {Local Stochastic Gradient Descent Ascent: Convergence Analysis and Communication Efficiency},
author = {Yuyang Deng and Mehrdad Mahdavi},
journal= {arXiv preprint arXiv:2102.13152},
year = {2021}
}
备注
This paper has been accepted to AISTATS 2021