联邦量化神经网络中能量、精度与准确率之间的权衡
机器学习
2023-02-06 v4 网络与互联网体系结构
摘要
在具有资源受限设备的无线网络上部署联邦学习（FL）需要在准确率、能效和精度之间取得平衡。已有的 FL 研究常要求设备使用 32 位精度级别表示数据来训练深度神经网络（DNNs）以提高准确率。然而，此类算法对资源受限设备不切实际，因为 DNNs 可能需要执行数百万次操作。因此，以高精度级别训练 DNNs 会给 FL 带来高能量成本。本文提出一种量化 FL 框架，在本地训练和上行传输中均以有限精度级别表示数据。此处，有限精度级别通过量化神经网络（QNNs）来体现，QNNs 以定点精度格式量化权重和激活。在所考虑的 FL 模型中，每个设备训练其 QNN 并向基站传输量化训练结果。严格推导了量化下本地训练和传输的能量模型。以保障收敛为约束，针对精度级别建立能量最小化问题。为求解该问题，我们首先解析推导 FL 收敛速率并使用线搜索方法。仿真结果表明，与标准 FL 模型相比，我们的 FL 框架可至多降低 53% 的能量消耗。结果也揭示了无线网络中 FL 的精度、能量与准确率之间的权衡。
引用
@article{arxiv.2111.07911,
title = {On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks},
author = {Minsu Kim and Walid Saad and Mohammad Mozaffari and Merouane Debbah},
journal= {arXiv preprint arXiv:2111.07911},
year = {2023}
}
备注
This paper is accepted by IEEE International Conference on Communications 2022