SAFARI：面向受限与不可靠通信的稀疏化联邦学习
分布式、并行与集群计算
2022-04-06 v1 机器学习
摘要
联邦学习（FL）使边缘设备能够以分布式方式协作学习模型。许多现有研究聚焦于提升高维模型的通信效率以及解决本地更新引起的偏差。然而，大多数 FL 算法要么基于可靠通信，要么假设固定且已知的不可靠特性。在实践中，网络可能遭受具有时变和未知特性的动态信道条件与非确定性中断。为此，本文提出一种兼具通信效率与偏差削减的稀疏化联邦学习框架，称为 SAFARI。它新颖地利用客户端模型间的相似性来纠正并补偿由不可靠通信导致的偏差。更确切地说，在本地客户端上实施稀疏学习以降低通信开销，同时为应对不可靠通信，提出一种基于相似性的补偿方法，为缺失的模型更新提供替代值。我们在有界异质性下并针对稀疏模型分析了 SAFARI。结果表明，在不可靠通信下 SAFARI 保证以与具有完美通信的标准 FedAvg 相同的速率收敛。在 CIFAR-10 数据集上的实现与评估验证了 SAFARI 的有效性，显示其能在高达 80% 模型权重被剪枝且每轮高比例客户端更新缺失的情况下，达到与具有完美通信的 FedAvg 相同的收敛速度与精度。
引用
@article{arxiv.2204.02321,
title = {SAFARI: Sparsity enabled Federated Learning with Limited and Unreliable Communications},
author = {Yuzhu Mao and Zihao Zhao and Meilin Yang and Le Liang and Yang Liu and Wenbo Ding and Tian Lan and Xiao-Ping Zhang},
journal= {arXiv preprint arXiv:2204.02321},
year = {2022}
}