LoLaFL：通过前向传播实现低延迟联邦学习
机器学习
2025-11-05 v3 人工智能
网络与互联网体系结构
摘要
联邦学习（FL）已成为一种广泛采用的范式，用于在确保数据隐私的同时实现分布式数据的边缘学习。然而，传统的通过反向传播训练深度神经网络的FL很难满足第六代（6G）移动网络中的低延迟学习要求。这一挑战主要源于需要传输的高维模型参数，以及由于训练过程的固有随机性，收敛所需的众多通信轮次。为了解决这个问题，我们采用了最先进的最大编码率缩减原理来学习线性判别特征，并将得到的白盒神经网络扩展到FL中，从而提出了通过仅前向传播的低延迟联邦学习（LoLaFL）新框架。LoLaFL实现了逐层传输和聚合，通信轮次显著减少，从而大大降低了延迟。此外，我们为LoLaFL提出了两种非线性聚合方案。第一种方案基于以下证明：LoLaFL中最优的神经网络参数聚合应该是调和平均类的。第二种方案进一步利用了特征的低秩结构，传输特征的低秩近似协方差矩阵以实现额外的延迟降低。进行了理论分析和实验来评估LoLaFL的性能。与传统FL相比，LoLaFL的两种非线性聚合方案在保持相当准确率的同时，分别实现了超过87%和97%的延迟降低。
引用
@article{arxiv.2412.14668,
title = {LoLaFL: Low-Latency Federated Learning via Forward-only Propagation},
author = {Jierui Zhang and Jianhao Huang and Kaibin Huang},
journal= {arXiv preprint arXiv:2412.14668},
year = {2025}
}
备注
16 pages, 10 figures