面向 8 位浮点数的联邦学习：在设备端训练与通信
机器学习
2025-07-31 v2 分布式、并行与集群计算
摘要
最近的研究表明，8 位浮点 (FP8) 可用于以较低于 FP32/FP16 计算成本训练神经网络。本文探讨了在联邦学习上下文中使用 FP8 训练的方法。这一方法不仅带来了 FP8 通常的优势——这对于边缘设备上的训练是理想的——还由于显著的权重压缩，减少了客户端-服务器通信成本。我们提出一种新方法，能够在保持全局 FP32 服务器模型的同时，结合 FP8 客户端训练并进行收敛分析。各种机器学习模型和数据集的实验表明，我们的方法在各种任务和模型下，相较于 FP32 基准以相同训练模型精度，通信压缩比至少为 2.9 倍。
引用
@article{arxiv.2407.02610,
title = {Towards Federated Learning with On-device Training and Communication in 8-bit Floating Point},
author = {Bokun Wang and Axel Berg and Durmus Alp Emre Acar and Chuteng Zhou},
journal= {arXiv preprint arXiv:2407.02610},
year = {2025}
}
备注
extended version