服务端步长与非放回采样可证明地有助于联邦优化

我们对联邦学习中的服务端优化进行了理论研究。我们的结果首次表明，用额外参数缩放客户端更新的广泛流行启发式方法，在结合客户端数据本地多轮的 Federated Averaging (FedAvg) 中非常有用。每一轮本地遍历均使用 Random Reshuffling 以非放回方式进行，这是我们能够展示更优复杂度的关键原因。具体而言，我们证明只要本地步长较小，且更新方向由所有客户端上结合 Random Reshuffling 的 FedAvg 给出，就可以在所获取方向上迈出一大步，并改善凸、强凸和非凸目标的收敛速率。特别是在非凸情形下，我们将收敛速率从 $\mathcal{O}\left(\varepsilon^{-3}\right)$ 提升至 $\mathcal{O}\left(\varepsilon^{-2}\right)$。即便对于在单节点上执行的 Random Reshuffling，该结果也是新的。相反，如果本地步长较大，我们证明客户端采样的噪声可通过使用较小的服务端步长来控制。据我们所知，这是本地步长首次被证明有助于克服通信瓶颈。总之，我们关于大、小服务端步长优势的结果，为联邦学习中自适应服务端优化的实践提供了形式化依据。此外，我们考虑了支持部分客户端参与的算法变体，使该方法更具实用性。