FedCau：一种面向通信与计算高效联邦学习的主动停止策略
机器学习
2024-03-27 v2
摘要
本文研究了在无线设备无线网络上联邦学习（FL）模型的高效分布式训练。分布式训练算法的通信迭代可能会因设备的背景流量、丢包、拥塞或延迟的影响而严重恶化甚至被阻断。我们将通信-计算影响抽象为“迭代代价”，并提出一种代价感知的因果FL算法（FedCau）来解决该问题。我们提出了一种在训练性能与网络代价之间进行权衡的迭代终止方法。我们在客户端使用时隙ALOHA、带冲突避免的载波侦听多路访问（CSMA/CA）和正交频分多址（OFDMA）协议时应用了我们的方法。我们表明，在给定总代价预算的情况下，训练性能会随着背景通信流量或训练问题维度的增加而下降。我们的结果证明了主动设计最优代价高效停止准则以避免不必要的通信-计算代价仅换取微小的FL训练提升的重要性。我们通过在MNIST数据集上训练和测试FL来验证我们的方法。最后，我们将我们的方法应用于文献中现有的通信高效FL方法，实现了进一步的效率提升。我们得出结论：代价高效的停止准则对于无线网络上实际FL的成功至关重要。
引用
@article{arxiv.2204.07773,
title = {FedCau: A Proactive Stop Policy for Communication and Computation Efficient Federated Learning},
author = {Afsaneh Mahmoudi and Hossein S. Ghadikolaei and José Mairton Barros Da Silva Júnior and Carlo Fischione},
journal= {arXiv preprint arXiv:2204.07773},
year = {2024}
}