FedShift：资源受限环境下通过权重平移实现鲁棒的联邦学习聚合方案
机器学习
2026-02-12 v2
摘要
联邦学习（FL）通常依赖一个中央服务器来协调跨分布式客户端的训练。虽然有效，但这种范式存在显著的通信开销，影响整体训练效率。为缓解此问题，先前的工作探索了量化等压缩技术。然而，在异构联邦学习设置中，客户端可能根据其硬件或网络约束采用不同的量化级别，这需要在服务器端进行混合精度聚合过程。这引入了额外的挑战，加剧了客户端漂移并导致性能下降。在这项工作中，我们提出了 FedShift，这是一种新颖的聚合方法，旨在缓解具有混合量化级别的联邦学习场景中的性能下降。FedShift 采用基于权重偏移的统计匹配机制来对齐混合精度模型，从而减少模型发散并解决量化引入的偏差。我们的方法作为现有联邦学习优化算法的附加组件，增强了它们的鲁棒性并改善了收敛性。实证结果表明，FedShift 有效减轻了混合精度聚合的负面影响，在各种联邦学习基准测试中均取得了优越的性能。
引用
@article{arxiv.2402.01070,
title = {FedShift: Robust Federated Learning Aggregation Scheme in Resource Constrained Environment via Weight Shifting},
author = {Jungwon Seo and Minhoe Kim and Chunming Rong},
journal= {arXiv preprint arXiv:2402.01070},
year = {2026}
}