FedSkel：基于骨架梯度更新的异构系统高效联邦学习
机器学习
2021-08-23 v1 人工智能
分布式、并行与集群计算
摘要
联邦学习旨在从不同参与方进行数据分析的同时保护用户隐私。然而，由于计算能力各异以及通信瓶颈，保证异构系统上的训练效率具有挑战性。本工作中，我们提出 FedSkel，通过仅更新模型的关键部分（称为骨架网络）来实现边缘设备上计算高效与通信高效的联邦学习。FedSkel 在不平衡数据集的真实边缘设备上进行了评估。实验结果表明，其可使卷积（CONV）层的反向传播加速高达 5.52，整个训练过程加速 1.82，并减少 64.8% 的通信开销，且精度损失可忽略不计。
引用
@article{arxiv.2108.09081,
title = {FedSkel: Efficient Federated Learning on Heterogeneous Systems with Skeleton Gradients Update},
author = {Junyu Luo and Jianlei Yang and Xucheng Ye and Xin Guo and Weisheng Zhao},
journal= {arXiv preprint arXiv:2108.09081},
year = {2021}
}
备注
CIKM 2021