无线网络上绿色量化联邦学习：一种节能设计
机器学习
2023-07-13 v3
摘要
本文提出一种绿色量化联邦学习（FL）框架，其在本地训练和上行传输中均以有限精度级别表示数据。此处，有限精度级别通过量化神经网络（QNNs）来体现，该网络以定点格式量化权重和激活值。在所考虑的 FL 模型中，每个设备训练其 QNN 并将量化训练结果传输至基站。严格推导了带量化的本地训练与传输的能量模型。为同时最小化能耗和通信轮数，在确保目标精度约束下收敛的前提下，针对本地迭代次数、所选设备数量以及本地训练和传输的精度级别，构建了一个多目标优化问题。为求解该问题，解析推导了所提 FL 系统相对于系统控制变量的收敛速率。随后，刻画了该问题的帕累托边界，并利用法向边界检测法提供高效解。通过纳什议价解和所推导收敛速率的分析，得出了在达到目标精度的同时平衡两目标间权衡的设计见解。仿真结果表明，与以全精度表示数据且不损害收敛速率的基线 FL 算法相比，所提 FL 框架在收敛前的能耗最高可降低 70%。
引用
@article{arxiv.2207.09387,
title = {Green, Quantized Federated Learning over Wireless Networks: An Energy-Efficient Design},
author = {Minsu Kim and Walid Saad and Mohammad Mozaffari and Merouane Debbah},
journal= {arXiv preprint arXiv:2207.09387},
year = {2023}
}
备注
Accepted in the IEEE Transactions on Wireless Communications