移动设备上联邦学习的服务时延最小化

Rui Chen; Dian Shi; Xiaoqi Qin; Dongjie Liu; Miao Pan; Shuguang Cui

移动设备上联邦学习的服务时延最小化

机器学习 2022-05-23 v1 分布式、并行与集群计算

作者: Rui Chen , Dian Shi , Xiaoqi Qin , Dongjie Liu , Miao Pan , Shuguang Cui

摘要

移动设备上的联邦学习（FL）催生了众多引人入胜的应用/服务，其中许多对时延敏感。本文提出一种移动设备上服务时延高效的 FL（SDEFL）方案。不同于将无线通信视为瓶颈的传统通信高效 FL，我们发现鉴于高速无线传输技术的发展，在许多情况下，FL 训练过程中的本地计算时延与通信时延相当。因此，FL 中的服务时延应为各训练轮次的本地计算时延 + 通信时延。为最小化 FL 的服务时延，仅独立降低本地计算/通信时延并不足够，必须考虑本地计算与无线通信之间的时延权衡。此外，我们通过实证研究了本地计算控制与压缩策略（即本地更新次数、权重量化和梯度量化）对计算、通信及服务时延的影响。基于这些权衡观察与实证研究，我们开发了异构设备上最小化 FL 服务时延的优化方案。我们搭建测试平台并开展大量仿真/实验以验证理论分析。结果表明，与同类设计相比，SDEFL 以较小的精度下降显著降低了服务时延。

关键词

联邦学习服务时延移动设备计算-通信权衡本地更新权重量化梯度量化

引用

@article{arxiv.2205.09868,
  title  = {Service Delay Minimization for Federated Learning over Mobile Devices},
  author = {Rui Chen and Dian Shi and Xiaoqi Qin and Dongjie Liu and Miao Pan and Shuguang Cui},
  journal= {arXiv preprint arXiv:2205.09868},
  year   = {2022}
}

备注

15 pages, 9 figures

移动设备上联邦学习的服务时延最小化

摘要

关键词

引用

备注

相关论文