FedLPA：基于逐层后验聚合的一次性联邦学习
机器学习
2024-10-22 v5 人工智能
摘要
在联邦学习中，将本地客户端训练好的神经网络高效聚合为服务器上的全局模型是一个被广泛研究的课题。近来，受日益减少的隐私担忧、缓解潜在攻击以及降低通信开销的推动，一次性联邦学习（即将客户端-服务器通信限制为单轮）在研究者中日益流行。然而，一次性聚合性能对训练数据非独立同分布敏感，这在某些真实场景表现出高度的统计异质性。为解决此问题，我们提出一种新颖的具有逐层后验聚合的一次性聚合方法，名为 FedLPA。FedLPA 聚合本地模型以获得更精确的全局模型，无需额外辅助数据集或暴露任何私有标签信息（如标签分布）。为有效捕捉实际非 IID 场景中偏置本地数据集所维持的统计信息，我们使用逐层拉普拉斯近似高效推断每个本地模型中每一层的后验，并聚合它们以训练全局参数。大量实验结果表明，FedLPA 在多个指标上显著优于最先进方法的学习性能。
引用
@article{arxiv.2310.00339,
title = {FedLPA: One-shot Federated Learning with Layer-Wise Posterior Aggregation},
author = {Xiang Liu and Liangxi Liu and Feiyang Ye and Yunheng Shen and Xia Li and Linshan Jiang and Jialin Li},
journal= {arXiv preprint arXiv:2310.00339},
year = {2024}
}
备注
39pages, 4 figures