基于 ADMM 与 Moreau 包络的个性化联邦学习
机器学习
2024-08-23 v2 分布式、并行与集群计算
摘要
个性化联邦学习（PFL）是一种为应对异构数据上收敛不佳问题而提出的方法。然而，大多数现有 PFL 框架的收敛需要强假设。本文中，我们提出一种利用乘子交替方向法（ADMM）并结合 Moreau 包络训练 PFL 模型的方法（FLAME），其实现了次线性收敛速率，且仅依赖于梯度 Lipschitz 连续的较弱假设。此外，由于 ADMM 的无梯度特性，FLAME 缓解了对超参数调优的需求，特别是在训练全局模型时避免了学习率调整。另外，我们提出一种有偏客户端选择策略以加速 PFL 模型训练的收敛。我们的理论分析在无偏与有偏客户端选择策略下均建立了全局收敛性。我们的实验验证，在异构数据上训练的 FLAME 在模型性能方面优于最先进的方法。在通信效率方面，与基线相比它展现出平均 3.75 倍的加速。此外，实验结果验证了有偏客户端选择策略可加速个性化模型与全局模型的收敛。
引用
@article{arxiv.2311.06756,
title = {Personalized Federated Learning via ADMM with Moreau Envelope},
author = {Shengkun Zhu and Jinshan Zeng and Sheng Wang and Yuan Sun and Zhiyong Peng},
journal= {arXiv preprint arXiv:2311.06756},
year = {2024}
}
备注
I have uploaded the latest version of this paper to arXiv:2407.16397. Due to my mistake, I didn't use 'replacement' but instead uploaded a new version. I deeply apologize for my error