中文

基于裁剪均匀量化的通信高效联邦学习

机器学习 2024-12-17 v2 多智能体系统 信号处理

摘要

本文提出了一种新方法, 通过裁剪均匀量化来增强联邦学习中的通信效率。该方法利用最优裁剪阈值和客户端特定的自适应量化方案, 显著降低了客户端与服务器之间模型权重传输的带宽和内存需求, 同时保持具竞争力的准确度。我们研究了对称裁剪和均匀量化对模型性能的影响, 强调随机量化在减轻伪影和提高鲁棒性方面的作用。大量仿真结果表明, 该方法在实现接近全精度性能的同时, 实现了显著的通信节省。此外, 本方法支持基于逆均方量化误差的有效权重平均, 在通信效率和模型准确度之间取得良好平衡。与传统联邦平均方法相比, 本设计无需向服务器披露客户端特定的数据量, 从而增强了客户端隐私。与常规量化方法的比较进一步确认了所提方案的有效性。

关键词

引用

@article{arxiv.2405.13365,
  title  = {Communication-Efficient Federated Learning via Clipped Uniform Quantization},
  author = {Zavareh Bozorgasl and Hao Chen},
  journal= {arXiv preprint arXiv:2405.13365},
  year   = {2024}
}

备注

Under review