HADFL：感知异构性的去中心化联邦学习框架
机器学习
2021-11-17 v1 人工智能
摘要
联邦学习（FL）支持在地理分布的设备上训练模型。然而，传统 FL 系统采用集中式同步策略，带来较高的通信压力和模型泛化挑战。现有 FL 优化方案要么无法加速异构设备上的训练，要么受困于较差的通信效率。本文提出 HADFL，一个支持异构设备上去中心化异步训练的框架。设备利用本地数据以感知异构性的本地步数进行本地模型训练。在每个聚合周期中，它们基于概率被选中执行模型同步与聚合。相比传统 FL 系统，HADFL 能缓解中心服务器的通信压力，高效利用异构算力，并且相比 decentralized-FedAvg 和 Pytorch 分布式训练方案分别可实现最高 3.15 倍和 4.68 倍的加速，且几乎无收敛精度损失。
引用
@article{arxiv.2111.08274,
title = {HADFL: Heterogeneity-aware Decentralized Federated Learning Framework},
author = {Jing Cao and Zirui Lian and Weihong Liu and Zongwei Zhu and Cheng Ji},
journal= {arXiv preprint arXiv:2111.08274},
year = {2021}
}
备注
Accepted by DAC 2021