FedCode：通过传输码本实现通信高效的联邦学习
机器学习
2023-11-17 v1 分布式、并行与集群计算
摘要
联邦学习（FL）是一种分布式机器学习范式，能够从去中心化的本地数据中学习模型。尽管 FL 为客户端数据隐私提供了诱人特性，但它在服务器与客户端间交换模型权重时带来了高通信负担。现有方法依赖模型压缩技术，如剪枝与权重聚类来应对此问题。然而，即使在压缩格式下，在每轮联邦通信中传输全部权重更新集合，限制了通信量大幅降低的潜力。我们提出 FedCode，其中客户端仅传输码本，即更新后模型权重值的聚类中心。为确保平滑的学习曲线以及服务器与客户端间聚类的恰当校准，FedCode 在仅通信码本的多轮之后周期性传输模型权重。这带来了客户端与服务器间双向通信量的显著减少，且不对客户端施加显著计算开销或导致模型主要性能退化。我们使用 ResNet-20 与 MobileNet 骨干模型架构，在多个公开可用数据集上评估了 FedCode 的有效性。我们的评估显示出平均 12.2 倍的传输数据减少，同时保持与 FedAvg 相当的平均精度损失 1.3% 的模型性能。在非 IID 数据分布下对 FedCode 性能的进一步验证显示，与 FedAvg 相比平均精度损失 2.0%，同时实现约 12.7 倍的传输数据减少。
引用
@article{arxiv.2311.09270,
title = {FedCode: Communication-Efficient Federated Learning via Transferring Codebooks},
author = {Saeed Khalilian and Vasileios Tsouvalas and Tanir Ozcelebi and Nirvana Meratnia},
journal= {arXiv preprint arXiv:2311.09270},
year = {2023}
}