去中心化联邦学习中异构参与方的自适应配置
网络与互联网体系结构
2022-12-06 v1
摘要
在网络边缘生成的数据可利用边缘计算（EC）范式在本地处理。在 EC 的辅助下，去中心化联邦学习（DFL）克服了基于参数服务器（PS）的联邦学习中的单点故障问题，正成为分布式数据上机器学习的实用且流行的方法。然而，DFL 面临两个关键挑战，即边缘设备引入的系统异构性与统计异构性。为保障在存在慢速边缘设备时快速收敛，我们提出一种高效的 DFL 方法 FedHP，其集成了局部更新频率与网络拓扑的自适应控制，以更好地支持异构参与方。我们建立了关于模型训练性能的局部更新频率与网络拓扑之间的理论关系，并得到了收敛上界。在此基础上，我们提出一种优化算法，自适应地确定局部更新频率并构建网络拓扑，从而加速收敛并提升模型精度。评估结果表明，在异构场景下，所提 FedHP 相比基线可减少约 51% 的完成时间，并将模型精度提升至少 5%。
引用
@article{arxiv.2212.02136,
title = {Adaptive Configuration for Heterogeneous Participants in Decentralized Federated Learning},
author = {Yunming Liao and Yang Xu and Hongli Xu and Lun Wang and Chen Qian},
journal= {arXiv preprint arXiv:2212.02136},
year = {2022}
}
备注
12 pages