FedExP：通过外推加速联邦平均
机器学习
2023-03-07 v2
摘要
联邦平均(FedAvg)因其简单实现、无状态特性以及结合安全聚合的隐私保障，仍是联邦学习(FL)优化中最流行的算法。近期工作试图将FedAvg中的朴素平均推广为广义梯度下降步，将客户端更新视为伪梯度并使用服务端步长。尽管使用服务端步长已在理论上展现性能提升，但在多数现有工作中其实际益处并未显现。本工作中，我们提出FedExP，一种基于FL过程中动态变化的伪梯度自适应确定服务端步长的方法。我们首先考虑过参数化凸情形，揭示了FedAvg与凸集上投影(POCS)算法间有趣的相似性。随后我们展示FedExP如何作为用于加速POCS的外推机制的崭新扩展而得到启发。我们的理论分析随后也讨论了FedExP在欠参数化与非凸设定下的含义。实验结果表明，在一系列现实FL数据集上，FedExP始终比FedAvg及竞争基线收敛更快。
引用
@article{arxiv.2301.09604,
title = {FedExP: Speeding Up Federated Averaging via Extrapolation},
author = {Divyansh Jhunjhunwala and Shiqiang Wang and Gauri Joshi},
journal= {arXiv preprint arXiv:2301.09604},
year = {2023}
}
备注
Accepted to ICLR 2023. V2 fixes minor typos and cleans up proofs