FedHM：基于低秩分解的高效异构模型联邦学习
机器学习
2022-05-27 v2 人工智能
分布式、并行与集群计算
摘要
近期联邦学习（FL）范式的一个潜在假设是，所有本地模型通常共享相同的网络架构和规模，这对于具有不同硬件资源的设备而言并不现实。一个可扩展的联邦学习框架应当解决客户端具有不同计算能力和通信能力的异构性问题。为此，本文提出 FedHM，一种新颖的异构联邦模型压缩框架，将异构低秩模型分发给客户端，然后将其聚合为一个全秩模型。我们的方案能够训练具有不同计算复杂度的异构模型，并将它们聚合为单一的全局模型。此外，FedHM 通过使用低秩模型显著降低了通信成本。大量实验结果表明，在各种 FL 设置下，与最先进的异构 FL 方法相比，FedHM 在不同规模模型的性能和鲁棒性方面均更优。此外，本文首次从理论上了分析面向异构设备的 FL 的收敛性保证。
引用
@article{arxiv.2111.14655,
title = {FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization},
author = {Dezhong Yao and Wanning Pan and Michael J O'Neill and Yutong Dai and Yao Wan and Hai Jin and Lichao Sun},
journal= {arXiv preprint arXiv:2111.14655},
year = {2022}
}