通过随机游走随机ADMM在无基础设施异构环境中实现个性化联邦学习的移动化
机器学习
2023-09-28 v3 分布式、并行与集群计算
最优化与控制
摘要
本文探讨了在具有数据异构性的孤立节点、且只能通过无线链路在无基础设施环境中连接服务器的实际场景中实施联邦学习(FL)的挑战。为克服这些挑战，我们提出了一种新颖的移动化个性化FL方法，旨在促进移动性与弹性。具体而言，我们开发了一种称为随机游走随机交替方向乘子法(RWSADMM)的新优化算法。RWSADMM利用服务器向客户端的随机移动，并基于硬不等式约束而非要求共识更新或通过正则化方法引入偏置来构建相邻客户端间的局部邻近关系。为减轻客户端的计算负担，RWSADMM中设计了近似优化问题的高效随机求解器，该求解器可证明在期望意义下几乎必然收敛到驻点。我们的理论与实证结果表明，与基线方法相比，RWSADMM实现了可证明的快速收敛与显著的精度提升，并具有降低通信成本与增强可扩展性的优势。
引用
@article{arxiv.2304.12534,
title = {Mobilizing Personalized Federated Learning in Infrastructure-Less and Heterogeneous Environments via Random Walk Stochastic ADMM},
author = {Ziba Parsons and Fei Dou and Houyi Du and Zheng Song and Jin Lu},
journal= {arXiv preprint arXiv:2304.12534},
year = {2023}
}
备注
28 pages, 7 figures, 3 tables, 1 algorithm. Proof details are provided in the main body of the paper