基于区块链的分层联邦学习中的掉队者缓解与延迟优化
分布式、并行与集群计算
2023-08-03 v1
摘要
云-边-端分层联邦学习(HFL)近期被提出以实现通信高效且隐私保护的分布式学习。然而，仍存在若干关键挑战，例如边缘服务器与本地设备中的单点故障及潜在掉队者。为解决这些问题，我们提出一种去中心化且容忍掉队者的基于区块链的HFL（BHFL）框架。具体而言，在边缘服务器上部署基于Raft的联盟链，为BHFL中的全局模型聚合提供分布式可信计算环境。为缓解掉队者对学习的影响，我们提出一种新聚合方法HieAvg，其利用掉队者的历史权重估计缺失提交。此外，我们通过联合考虑全局模型收敛与区块链共识延迟的约束来优化BHFL的总体延迟。理论分析与实验评估表明，我们基于HieAvg的BHFL可在存在掉队者时收敛，即便损失函数非凸且本地设备数据非独立同分布(non-IID)，其表现也优于传统方法。
引用
@article{arxiv.2308.01296,
title = {Straggler Mitigation and Latency Optimization in Blockchain-based Hierarchical Federated Learning},
author = {Zhilin Wang and Qin Hu and Minghui Xu and Zeihui Xiong},
journal= {arXiv preprint arXiv:2308.01296},
year = {2023}
}