通过优化的概率性设备调度加速联邦边缘学习
网络与互联网体系结构
2021-07-27 v1 分布式、并行与集群计算
信息论
机器学习
信号处理
math.IT
摘要
流行的联邦边缘学习（FEEL）框架通过边缘设备与服务器之间频繁的学习更新交换，实现保护隐私的协作模型训练。由于带宽受限，每个通信轮次只有一部分设备可以上传其更新。这导致了 FEEL 中一个活跃的研究领域，即研究最优设备调度策略以最小化通信时间。然而，由于难以量化确切的通信时间，该领域的先前工作只能通过考虑通信轮次或每轮延迟来部分解决该问题，而总通信时间由这两个指标共同决定。为了弥补这一差距，我们在本文中首次尝试制定并解决通信时间最小化问题。我们首先通过跨学科努力，结合用于收敛分析的学习理论和用于每轮延迟分析的通信理论，推导出一个紧界来近似通信时间。基于分析结果，通过求解近似通信时间最小化问题，以闭式形式推导出一个优化的概率性调度策略。研究发现，随着训练过程的进行，优化策略逐渐将其优先级从抑制剩余通信轮次转向减少每轮延迟。通过自动驾驶中协作 3D 目标检测的一个用例，展示了所提方案的有效性。
引用
@article{arxiv.2107.11588,
title = {Accelerating Federated Edge Learning via Optimized Probabilistic Device Scheduling},
author = {Maojun Zhang and Guangxu Zhu and Shuai Wang and Jiamo Jiang and Caijun Zhong and Shuguang Cui},
journal= {arXiv preprint arXiv:2107.11588},
year = {2021}
}
备注
In Proc. IEEE SPAWC2021