FedHiSyn：一种面向资源与数据异构的分层同步联邦学习框架
分布式、并行与集群计算
2022-06-22 v1 人工智能
摘要
联邦学习(FL)能够在保护数据隐私的前提下，不共享存储在多个设备上的去中心化原始数据而训练全局模型。由于设备能力各异，FL框架难以解决掉队者效应和模型过时的问题。此外，数据异构导致FL训练过程中全局模型精度严重下降。为解决上述问题，我们提出了一种分层同步FL框架，即FedHiSyn。FedHiSyn首先根据计算能力将所有可用设备聚类为少量类别。经过一定间隔的本地训练后，不同类别中训练的模型同时上传至中心服务器。在单一类别内，设备基于环形拓扑相互通信本地更新的模型权重。由于环形拓扑中的训练效率偏好资源同质的设备，基于计算能力的分类缓解了掉队者效应的影响。此外，多类别同步更新与单类别内设备通信的结合有助于解决数据异构问题，同时实现高准确率。我们基于MNIST、EMNIST、CIFAR10和CIFAR100数据集以及多样化的设备异构设置评估了所提框架。实验结果表明，FedHiSyn在训练准确率和效率上优于六种基线方法，例如FedAvg、SCAFFOLD和FedAT。
引用
@article{arxiv.2206.10546,
title = {FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity},
author = {Guanghao Li and Yue Hu and Miao Zhang and Ji Liu and Quanjun Yin and Yong Peng and Dejing Dou},
journal= {arXiv preprint arXiv:2206.10546},
year = {2022}
}
备注
10 pages, to appear in ICPP'2022