EcoFed：基于 DNN 划分的联邦学习的高效通信框架
分布式、并行与集群计算
2024-01-04 v3
摘要
在资源受限设备上高效运行联邦学习（FL）具有挑战性，因为它们需要独立训练计算密集的深度神经网络（DNN）。基于 DNN 划分的 FL（DPFL）被提出作为一种加速训练的机制，其中 DNN 的层（或计算）从设备卸载到服务器。然而，这在训练期间由于中间激活值和梯度需在设备与服务器间传输而产生了显著的通信开销。虽然当前研究使用基于本地损失的方法减少 DNN 划分引入的通信，我们证明这些方法在提升 DPFL 系统整体效率（通信开销与训练速度）方面无效。这是因为它们存在精度下降问题，且忽略了从设备向服务器传输激活值所产生的通信成本。本文提出 EcoFed——一个面向 DPFL 系统的高效通信框架。EcoFed 首次通过在设备上开发 DNN 模型的预训练初始化来消除梯度的传输。这减少了基于本地损失的方法中出现的精度下降。此外，EcoFed 提出一种新型回放缓冲机制并实现了基于量化的压缩技术以减少激活值的传输。实验表明，与经典 FL 相比，EcoFed 可将通信成本降低至多 133 倍，并将训练加速至多 21 倍。与原始 DPFL 相比，EcoFed 实现了 16 倍通信减少和 2.86 倍训练时间加速。EcoFed 可从 https://github.com/blessonvar/EcoFed 获取。
引用
@article{arxiv.2304.05495,
title = {EcoFed: Efficient Communication for DNN Partitioning-based Federated Learning},
author = {Di Wu and Rehmat Ullah and Philip Rodgers and Peter Kilpatrick and Ivor Spence and Blesson Varghese},
journal= {arXiv preprint arXiv:2304.05495},
year = {2024}
}