面向层次化联邦学习的高效模型压缩
机器学习
2024-05-29 v1 分布式、并行与集群计算
摘要
联邦学习作为一种新兴的协作式学习范式，因其在分布式学习系统中保留隐私的能力而备受关注。在这些系统中，客户端使用各自的本地数据集共同训练统一的神经网络模型，并共享模型参数而非原始数据，从而增强隐私。目前，大多数联邦学习系统设计用于移动和边缘计算环境，训练通常在无线网络上进行。因此，随着模型大小的增加，传统的联邦学习框架越来越消耗大量通信资源。为解决这一挑战并提高通信效率，本文引入一种新型的层次化联邦学习框架，将聚类联邦学习和模型压缩的优势相结合。我们提出了一种自适应聚类算法，用于识别核心客户端并动态组织客户端进入聚类。此外，为提高传输效率，每个核心客户端在收集来自同一聚类中其他客户端的压缩模型后，实施一种本地聚合压缩 (LC聚合) 算法。仿真结果表明，我们提出的算法不仅在保持相当预测准确率的同时，还显著降低了能源消耗，相对于现有的联邦学习机制具有显著优势。
引用
@article{arxiv.2405.17522,
title = {Efficient Model Compression for Hierarchical Federated Learning},
author = {Xi Zhu and Songcan Yu and Junbo Wang and Qinglin Yang},
journal= {arXiv preprint arXiv:2405.17522},
year = {2024}
}