STEM：一种实现近最优样本与通信复杂度的随机双向动量算法用于联邦学习

联邦学习(FL)是指多个工作节点(WNs)利用本地数据构建联合模型的范式。尽管已有大量研究，对于一个通用的非凸FL问题，尚不清楚如何选择WNs和服务器的更新方向、小批量大小以及本地更新频率，以使WNs使用最少的样本数和通信轮数达到所需解。本工作解决了上述问题，并考虑了一类随机算法，其中WNs在通信前执行若干次本地更新。我们证明，当WN和服务器的方向均基于随机动量估计量选择时，该算法需要$\tilde{\mathcal{O}}(\epsilon^{-3/2})$个样本和$\tilde{\mathcal{O}}(\epsilon^{-1})$轮通信来计算一个$\epsilon$-平稳解。据我们所知，这是首个同时实现此类近最优样本与通信复杂度的FL算法。进一步，我们展示了本地更新频率与本地小批量大小之间存在一条权衡曲线，在该曲线上可保持上述样本与通信复杂度。最后，我们证明对于经典的FedAvg（亦称Local SGD，它是STEM的无动量特例），存在类似的权衡曲线，尽管样本与通信复杂度更差。我们关于该权衡的见解为选择FL算法的四个重要设计要素——更新频率、方向和小批量大小——以实现最佳性能提供了指导。