基于权重量化与无线传输联合设计的异构移动设备高能效联邦学习
网络与互联网体系结构
2022-05-24 v2 机器学习
摘要
联邦学习（FL）是一种跨移动设备的流行协作式分布式机器学习范式。然而，资源受限移动设备上的实际 FL 面临多重挑战，例如 FL 中的本地设备上训练与模型更新对移动设备而言耗电且占用大量无线资源。为应对这些挑战，本文尝试将 FL 纳入未来无线网络设计中，并提出了一种用于移动设备上高能效 FL 的无线传输与权重量化联合设计新方法。具体而言，我们设计了灵活的权重量化方案以促成异构移动设备上的设备上本地训练。基于本地计算能耗与模型更新能耗相当的观察，我们将高能效 FL 问题建模为混合整数规划问题，其中为最小化总体 FL 能耗（计算+传输）同时保证模型性能与训练时延，联合确定异构移动设备的量化与频谱资源分配策略。由于该问题的优化变量强耦合，我们提出了一种高效迭代算法，推导了带宽分配与权重量化等级。我们进行了大量仿真以验证所提方案的有效性。
引用
@article{arxiv.2012.11070,
title = {Energy Efficient Federated Learning over Heterogeneous Mobile Devices via Joint Design of Weight Quantization and Wireless Transmission},
author = {Rui Chen and Liang Li and Kaiping Xue and Chi Zhang and Miao Pan and Yuguang Fang},
journal= {arXiv preprint arXiv:2012.11070},
year = {2022}
}
备注
14 pages, 8 figures