基于受控贝叶斯空中聚合的异质数据联邦学习
信号处理
2023-03-31 v1
摘要
联邦学习(FL)是一种新兴的机器学习范式，用于在持有本地数据集的多个边缘设备上训练模型，而无需显式交换数据。近来，有人提出空中(OTA)联邦学习，通过允许用户经由多址信道(MAC)同时传输数据，以降低带宽与能耗。然而，该方法导致信道噪声直接影响优化过程，可能降低所训练模型的精度。本文联合利用本地权重的先验分布与信道分布，并基于贝叶斯方法开发了一种用于信号聚合的OTA FL算法。我们提出的算法称为贝叶斯空中聚合联邦学习(BAAF)，被证明能有效缓解信道引起的噪声与衰落效应。为应对用户数据的统计异质性这一FL中的第二大挑战，我们将BAAF扩展以允许用户进行恰当的本地更新，并开发了受控贝叶斯空中聚合联邦学习(COBAAF)算法。除采用贝叶斯方法对信道输出取平均外，COBAAF通过校正项的精心设计来控制本地更新中的漂移。我们分析了在含噪与异质环境下使用BAAF和COBAAF所学全局模型的收敛性，表明它们能达到与无差错信道下相近的收敛速率。仿真结果证明了BAAF和COBAAF在机器学习任务中相对于现有算法的改进收敛性。
引用
@article{arxiv.2303.17413,
title = {Federated Learning from Heterogeneous Data via Controlled Bayesian Air Aggregation},
author = {Tomer Gafni and Kobi Cohen and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2303.17413},
year = {2023}
}
备注
A short version of this paper was presented at the 58th Annual Allerton Conference on Communication, Control, and Computing