SAGDA：在联邦极小极大学习中实现 $\mathcal{O}(\epsilon^{-2})$ 通信复杂度
机器学习
2022-12-27 v2 人工智能
摘要
为降低联邦极小极大学习的通信复杂度，一种自然的方法是利用非频繁通信（通过多次本地更新）的思想，如同在常规联邦学习中那样。然而，由于联邦极小极大学习中更为复杂的内外问题结构，文献中关于带非频繁通信的联邦极小极大学习的通信复杂度的理论理解仍非常有限。对于带有非独立同分布数据集与部分客户端参与的设置而言尤其如此。为应对这一挑战，本文中我们提出一种称为随机采样平均梯度下降 ascent（SAGDA）的新算法框架，其 i) 将从随机采样客户端处组装的随机梯度估计量作为控制变量，且 ii) 在服务器端与客户端的双侧采用两个学习率。我们展示了 SAGDA 在客户端数量与本地更新步数两方面均实现线性加速，从而产生比当前最优低数个数量级的 通信复杂度。有趣的是，注意到标准联邦随机梯度下降 ascent（FSGDA）事实上是 SAGDA 的无控制变量特例，我们立即得到了 FSGDA 的 通信复杂度结果。因此，通过 SAGDA 的视角，我们也推进了当前对标准 FSGDA 方法在联邦极小极大学习中通信复杂度的理解。
引用
@article{arxiv.2210.00611,
title = {SAGDA: Achieving $\mathcal{O}(\epsilon^{-2})$ Communication Complexity in Federated Min-Max Learning},
author = {Haibo Yang and Zhuqing Liu and Xin Zhang and Jia Liu},
journal= {arXiv preprint arXiv:2210.00611},
year = {2022}
}
备注
Published as a conference paper at NeurIPS 2022