FedX: 面向 IoT 联邦学习的自适应模型分解与量化
机器学习
2025-06-10 v3
摘要
联邦学习 (Federated Learning, FL) 允许在不共享数据的情况下进行多设备协同训练,从而使移动或物联网 (IoT) 设备能够实现隐私敏感应用,如移动健康和资产跟踪。然而,在异构资源受限的移动/IoT 设备上设计具备良好模型效用的 FL 系统具有挑战性。为此,本文提出 FedX,一个面向 IoT 的自适应模型分解与量化联邦学习系统。为平衡 IoT 设备上的效用与资源约束,FedX 将全局 FL 模型分解为不同子网络,并对不同设备采用自适应位数的量化。核心思想是:资源较少的设备接收较小的子网络以降低开销,但采用更多量化位数以提高模型效用,反之亦然。FedX 中的量化操作在服务器端完成,以减少设备的计算负担。FedX 通过在正则化项下使用量化子网络,在设备本地数据和服务器公共数据上迭代最小化损失,从而通过服务器与设备间的知识共享,在具有成本效益的训练过程中最大化联邦学习与模型量化结合的收益。大量实验表明,与基线 FL 系统相比,FedX 将量化时间提高了最高可达 8.43 倍,设备计算时间提高 1.5 倍,总端到端训练时间提高 1.36 倍。我们在理论上保证全局模型收敛,在实验中验证局部模型收敛,凸显 FedX 的优化效率。
引用
@article{arxiv.2504.12849,
title = {FedX: Adaptive Model Decomposition and Quantization for IoT Federated Learning},
author = {Phung Lai and Xiaopeng Jiang and Hai Phan and Cristian Borcea and Khang Tran and An Chen and Vijaya Datta Mayyuri and Ruoming Jin},
journal= {arXiv preprint arXiv:2504.12849},
year = {2025}
}