外推在联邦学习中的力量
最优化与控制
2024-10-02 v5
摘要
我们提出并研究了几种服务器外推策略，以增强流行的联邦学习优化器FedProx [Li et al., 2020]的理论和实证收敛性质。虽然长期以来人们知道某种形式的外推可以帮助联邦学习实践，但只有少数工作提供了任何理论保证。这种现象似乎难以捉摸，我们目前的理论理解仍然严重不完整。在我们的工作中，我们关注插值区域中的光滑凸或强凸问题。特别地，我们提出了外推FedProx (FedExProx)，并研究了三种外推策略：常数策略（取决于各种光滑度参数和参与设备数量），以及两种光滑自适应策略；一种基于梯度多样性概念（FedExProx-GraDS），另一种基于随机Polyak步长（FedExProx-StoPS）。我们的理论得到了精心构建的数值实验的证实。
引用
@article{arxiv.2405.13766,
title = {The Power of Extrapolation in Federated Learning},
author = {Hanmin Li and Kirill Acharya and Peter Richtárik},
journal= {arXiv preprint arXiv:2405.13766},
year = {2024}
}
备注
56 pages, 8 figures, published in NeurIPS 2024