基于广义重球动量的通信高效异构联邦学习

联邦学习（FL）已成为隐私受限场景下从去中心化数据学习的前沿方法。然而，系统与统计层面的挑战阻碍了其实际适用性，要求从边缘设备高效学习并对数据异构性具备鲁棒性。尽管已有大量研究，现有方法常因异构性与部分客户端参与的联合效应而严重退化。特别地，虽然动量看似克服统计异构性的有前景方法，但在当前方法中其更新偏向于最近采样的客户端。如本文所示，这正是其未能超越FedAvg的原因，阻碍了其在实际大规模场景中的有效使用。本文提出一种新颖的广义重球动量（GHBM），并从理论上证明其在循环部分参与下无界数据异构性中可实现收敛，从而推进了对FL中动量有效性的理解。随后我们引入GHBM的自适应且通信高效的变体，在客户端有状态的设定下匹配FedAvg的通信复杂度。在视觉与语言任务上的大量实验证实了我们的理论发现，表明GHBM在随机均匀客户端采样下大幅提升了最先进性能，尤其在高度数据异构与低客户端参与的大规模设定中。代码见 https://rickzack.github.io/GHBM。