Caesar：一种低偏差压缩方法用于高效联邦学习
机器学习
2024-12-31 v1 分布式、并行与集群计算
摘要
压缩是缓解联邦学习（FL）系统巨大通信开销的有效方法。然而，现有工作在压缩下会导致信息损失，进而引起模型/梯度的意外偏差，显著降低FL训练性能，尤其在数据异构性和模型陈旧性挑战下更甚者。为在模型精度和流量成本之间取得精妙的平衡，我们提出一种新型FL框架——Caesar，采用低偏差压缩方法。对于全局模型下载，我们设计一种贪婪方法，基于局部模型的陈旧度优化每个设备的压缩比，从而确保局部训练的模型精确性。对于局部梯度上传，我们利用设备的本地数据属性（即样本数量和标签分布）来量化其局部梯度的重要性，从而指导梯度压缩比的确定。此外，结合细粒度的批量大小优化，Caesar可显著减少设备在同步屏障下的空闲等待时间。我们在40部智能手机和80部NVIDIA Jetson设备上实现了Caesar。大量实验表明，与相同目标精度的压缩基线相比，Caesar可将通信成本降低约25.54%~37.88%，同时仅比完全精度通信降低0.68%的最终测试精度。
引用
@article{arxiv.2412.19989,
title = {Caesar: A Low-deviation Compression Approach for Efficient Federated Learning},
author = {Jiaming Yan and Jianchun Liu and Hongli Xu and Liusheng Huang and Jiantao Gong and Xudong Liu and Kun Hou},
journal= {arXiv preprint arXiv:2412.19989},
year = {2024}
}
备注
12 pages, 27 figures