Fed-CVLC：使用变长编码压缩联邦学习通信
机器学习
2024-02-07 v1
摘要
在联邦学习范式中，参数服务器与分布式参与客户端同时通信，进行多轮模型收集、聚合更新和模型分发，而不触及单个客户端拥有的私有数据。联邦学习在保护数据隐私方面具有吸引力；然而，参数服务器与分散客户端之间的通信可能成为严重瓶颈。模型压缩算法，如量化和稀疏化，已被提出，但它们通常假设固定码长，这不能反映模型更新的异质性和可变性。在本文中，通过分析和实验，我们展示了变长编码有利于联邦学习压缩的有力证据。据此，我们提出了Fed-CVLC（基于变长编码的联邦学习压缩），它根据模型更新的动态调整码长。我们开发了最优调整策略，在通信预算约束下最小化损失函数（等效于最大化模型效用）。我们进一步证明，Fed-CVLC确实是一种通用的压缩设计，连接了量化和稀疏化，具有更大的灵活性。使用公共数据集进行了大量实验，证明Fed-CVLC显著优于最先进的基线，将模型效用提高了1.50%-5.44%，或将通信流量减少了16.67%-41.61%。
引用
@article{arxiv.2402.03770,
title = {Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes},
author = {Xiaoxin Su and Yipeng Zhou and Laizhong Cui and John C. S. Lui and Jiangchuan Liu},
journal= {arXiv preprint arXiv:2402.03770},
year = {2024}
}
备注
To appear in 2024 IEEE International Conference on Computer Communications(INFOCOM 2024)