FedDWA:带动态权重调整的个性化联邦学习
机器学习
2023-07-18 v3
摘要
与常规联邦学习不同,个性化联邦学习(PFL)能够根据每个客户端的独特需求为其训练定制模型。主流方法是采用一种加权聚合方法生成个性化模型,其中权重由不同客户端间的损失值或模型参数决定。然而,此类方法要求客户端下载其他客户端的模型。这不仅徒增通信流量,还可能侵犯数据隐私。本文中,我们提出一种称为FedDWA(带动态权重调整的联邦学习)的新PFL算法以解决上述问题,其利用参数服务器(PS)基于从客户端收集的模型计算个性化聚合权重。由此,FedDWA能以低得多的通信开销捕捉客户端间的相似性。更具体地,我们通过最小化个性化模型与引导模型间的距离将PFL问题表述为优化问题,从而为各客户端定制聚合权重。引导模型由个体客户端上的本地一步前瞻自适应获得。最后,我们使用五个真实数据集进行了大量实验,结果表明FedDWA能显著减少通信流量,并取得比SOTA方法高得多的模型精度。
引用
@article{arxiv.2305.06124,
title = {FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment},
author = {Jiahao Liu and Jiang Wu and Jinyu Chen and Miao Hu and Yipeng Zhou and Di Wu},
journal= {arXiv preprint arXiv:2305.06124},
year = {2023}
}
备注
Accepted by IJCAI 2023, camera ready version with appendix