H-FedSN：面向物联网应用的高效精准层次化联邦学习个性化稀疏网络
机器学习
2024-12-30 v2
摘要
物联网（IoT）的快速发展增加了联邦学习（FL）在隐私保护分布式数据利用方面的关注度。然而，传统的两层联邦学习架构难以适应多层IoT环境。虽然层次化联邦学习（HFL）通过多层聚合提高了在多层IoT环境中的实用性，但仍面临通信效率和精度挑战，因数据传输量大、数据异构性强和设备分布不均，难以满足实际IoT场景中低时延和高精度模型训练的需求。为克服这些限制，我们提出H-FedSN，一种面向实际IoT环境的创新方法。H-FedSN引入二进制掩码机制及共享与个人化层，以保持原始权重冻结的同时创建稀疏网络以降低通信开销。为解决数据异构性和设备分布不均问题，我们集成个人化层以适应本地数据，并在边缘和云端应用贝叶斯聚合结合累积Beta分布更新，有效平衡来自不同客户端群体的贡献。在针对非独立同分布（non-IID）设置的三个真实IoT数据集和MNIST上的评估表明，H-FedSN相较于HierFAVG在通信成本上降低了58至238倍，同时实现高精度，在层次化联邦学习场景下具有高度效用。
引用
@article{arxiv.2412.06210,
title = {H-FedSN: Personalized Sparse Networks for Efficient and Accurate Hierarchical Federated Learning for IoT Applications},
author = {Jiechao Gao and Yuangang Li and Yue Zhao and Brad Campbell},
journal= {arXiv preprint arXiv:2412.06210},
year = {2024}
}