面向异构设备高效推理的量化鲁棒联邦学习
机器学习
2022-06-23 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种分布式从保留在设备端的去中心化数据中学习机器学习模型的范式。尽管联邦优化标准方法（如联邦平均（FedAvg））在 FL 中取得成功，但设备端学习的能耗需求与硬件引发的限制在文献中未得到充分考量。具体而言，设备端学习的一项基本需求是使训练模型能依据联邦内能耗需求与异构硬件设计量化为不同位宽。本工作中，我们引入多种联邦平均算法变体，其训练的神经网络对量化具有鲁棒性。此类网络可量化为不同位宽，且仅在全精度模型精度上有限下降。我们在标准 FL 基准上进行广泛实验以评估所提 FedAvg 量化鲁棒变体，并对 FL 中量化感知变体给出收敛性分析。结果表明，集成量化鲁棒性所得的 FL 模型在量化设备端推理中对不同位宽显著更鲁棒。
引用
@article{arxiv.2206.10844,
title = {Quantization Robust Federated Learning for Efficient Inference on Heterogeneous Devices},
author = {Kartik Gupta and Marios Fournarakis and Matthias Reisser and Christos Louizos and Markus Nagel},
journal= {arXiv preprint arXiv:2206.10844},
year = {2022}
}