FedSZ: 利用误差有界有损压缩优化联邦学习通信
分布式、并行与集群计算
2024-04-25 v3
摘要
鉴于联邦学习（FL）在实现地理分布式和高度个性化服务方面的前景，客户端与服务器之间高效交换模型更新变得至关重要。FL 虽然是去中心化的，但经常面临通信瓶颈，尤其是在资源受限的场景下。现有的数据压缩技术（如梯度稀疏化、量化和剪枝）提供了一些解决方案，但可能会损害模型性能或需要昂贵的重新训练。在本文中，我们提出了 FedSZ，这是一种专门的有损压缩算法，旨在最小化 FL 中客户端模型更新的规模。FedSZ 包含一个综合的压缩流水线，具有数据分区、模型参数与元数据的有损和无损压缩以及序列化等特性。我们使用一组误差有界有损压缩器对 FedSZ 进行了评估，最终发现 SZ2 在包括 AlexNet、MobileNetV2、ResNet50、CIFAR-10、Caltech101 和 Fashion-MNIST 在内的各种模型架构和数据集上最为有效。我们的研究表明，相对误差界 1E-2 实现了最佳折中，在将模型状态压缩 5.55-12.61 倍的同时，将推理精度保持在未压缩结果的 <0.5% 范围内。此外，FedSZ 的运行时开销 <4.7%（占实际通信轮次时间的比例），对于在带宽 <500Mbps 的网络中将网络传输时间减少一个数量级而言，这是一个值得的折中。有趣的是，我们还发现 FedSZ 引入的误差有可能作为差分隐私噪声的来源，为隐私保护的 FL 开辟了新途径。
引用
@article{arxiv.2312.13461,
title = {FedSZ: Leveraging Error-Bounded Lossy Compression for Federated Learning Communications},
author = {Grant Wilkins and Sheng Di and Jon C. Calhoun and Zilinghan Li and Kibaek Kim and Robert Underwood and Richard Mortier and Franck Cappello},
journal= {arXiv preprint arXiv:2312.13461},
year = {2024}
}
备注
Appearing at 44th IEEE International Conference on Distributed Computing Systems (ICDCS)