DisPFL：通过去中心化稀疏训练实现通信高效的个性化联邦学习
机器学习
2022-06-02 v1
摘要
个性化联邦学习旨在通过为每个用户学习专用的定制局部模型来处理客户端间的数据异构问题。然而，现有工作通常以集中式方式构建，导致当中心服务器发生故障或遭受攻击时产生较高的通信压力与较高的脆弱性。在本工作中，我们提出一种在去中心化（点对点）通信协议下的新型个性化联邦学习框架，称为 Dis-PFL，其采用个性化稀疏掩码在边缘端定制稀疏局部模型。为进一步节省通信与计算开销，我们提出一种去中心化稀疏训练技术，即 Dis-PFL 中的每个局部模型在整个局部训练与点对点通信过程中仅维持固定数量的活跃参数。综合实验表明，Dis-PFL 显著节省了所有客户端中最繁忙节点的通信瓶颈，同时以更少的计算开销与通信轮数取得了更高的模型精度。此外，我们证明了我们的方法能够轻松适应具有不同计算复杂度的异构局部客户端，并取得更好的个性化性能。
引用
@article{arxiv.2206.00187,
title = {DisPFL: Towards Communication-Efficient Personalized Federated Learning via Decentralized Sparse Training},
author = {Rong Dai and Li Shen and Fengxiang He and Xinmei Tian and Dacheng Tao},
journal= {arXiv preprint arXiv:2206.00187},
year = {2022}
}
备注
To be published in ICML2022