FedSPU：面向资源受限设备的随机参数更新个性化联邦学习
机器学习
2025-04-15 v2
摘要
个性化联邦学习（Personalized Federated Learning, PFL）广泛应用于物联网应用，以处理大容量、非独立同分布的客户端数据，同时确保数据隐私。然而，客户端拥有的异构边缘设备可能施加不同程度的资源约束，导致 PFL 的计算和通信瓶颈。联邦 Dropout 已成为应对这一挑战的流行策略，其中仅在客户端设备上训练全局模型的一个子集（即子模型），从而减少计算和通信开销。然而，基于 Dropout 的模型剪枝策略可能引入偏差，尤其是对非独立同分布的本地数据。当有偏子模型吸收来自其他客户端的高度发散参数时，性能下降不可避免。为此，我们提出随机参数更新联邦学习（FedSPU）。与 Dropout 将全局模型裁剪为小型本地子模型不同，FedSPU 在每个设备上保持完整模型架构，但在训练期间随机冻结本地模型中一定百分比的神经元，同时更新其余神经元。这种方法确保本地模型的一部分保持个性化，从而增强模型对来自其他客户端的有偏参数的鲁棒性。实验结果表明，FedSPU 在准确率上平均优于联邦 Dropout 7.57%。此外，引入的早停方案在保持高准确率的同时，显著减少训练时间 24.8%–70.4%。
引用
@article{arxiv.2403.11464,
title = {FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update},
author = {Ziru Niu and Hai Dong and A. K. Qin},
journal= {arXiv preprint arXiv:2403.11464},
year = {2025}
}
备注
AAAI 2025 Oral