FedSparQ：面向健壮高效联邦学习的自适应稀疏量化带误差反馈
机器学习
2025-11-11 v1
摘要
联邦学习（FL）通过在保持数据隐私的同时将原始数据保留在本地的方式，实现了跨多个客户端的协作模型训练。然而，FL由于频繁在受限网络上交换高维模型更新，存在显著的通信开销。本文提出FedSparQ，一个轻量级压缩框架，通过自适应阈值对每个客户端的梯度进行动态稀疏化，对保留下来的条目应用半精度量化，并集成误差反馈中的残差以防止信息丢失。FedSparQ无需手动调节稀疏率或量化计划，能无缝适应均匀和非均匀数据分布，同时对模型体系结构不敏感。通过在独立同分布（IID）和非独立同分布（non-IID）数据下的广泛实证评估，我们展示FedSparQ显著减少通信开销（相较于FedAvg减少90%的传输字节）同时保持或提升模型准确性（相较于FedAvg非压缩解决方案或最先进的压缩模型提高6%），并增强收敛鲁棒性（相较于其他基线提高50%）。我们的ethods 提供一种实用、易于部署的解决方案，用于受限带宽的联邦部署，并为自适应精度和隐私保护协议的未来扩展奠定了基础。
引用
@article{arxiv.2511.05591,
title = {FedSparQ: Adaptive Sparse Quantization with Error Feedback for Robust & Efficient Federated Learning},
author = {Chaimaa Medjadji and Sadi Alawadi and Feras M. Awaysheh and Guilain Leduc and Sylvain Kubler and Yves Le Traon},
journal= {arXiv preprint arXiv:2511.05591},
year = {2025}
}