拜占庭攻击下的空中联邦学习
机器学习
2022-05-09 v1 信息论
信号处理
math.IT
摘要
联邦学习(FL)是实现众多人工智能应用的一种有前景的方案,其需要来自分布式客户端的敏感数据集以协作训练一个全局模型。FL允许客户端在中心服务器的协调下参与训练阶段,而无需共享其本地数据。FL的主要挑战之一是通信开销,即参与客户端的模型更新在每一轮全局训练时都被发送至中心服务器。空中计算(AirComp)近来被提出以缓解这一通信瓶颈,其中模型更新通过多址信道同时发送。然而,通过AirComp对模型更新进行简单平均使得学习过程易受某些拜占庭客户端对本地模型更新的随机或蓄意篡改的影响。本文提出一种传输与聚合框架,在保留AirComp对FL优势的同时降低此类攻击的影响。对于所提出的鲁棒方法,中心服务器将参与客户端随机分组并为每组分配一个传输时隙,随后使用鲁棒聚合技术聚合不同组的更新。我们将该方法扩展至处理非独立同分布(non-i.i.d.)本地数据的情况,在鲁棒聚合前加入重采样步骤。我们分析了所提方法在i.i.d.与非i.i.d.数据两种情形下的收敛性,并证明所提算法以线性速率收敛至最优解的一个邻域。在真实数据集上的实验证实了所提方法的鲁棒性。
引用
@article{arxiv.2205.02949,
title = {Over-The-Air Federated Learning under Byzantine Attacks},
author = {Houssem Sifaou and Geoffrey Ye Li},
journal= {arXiv preprint arXiv:2205.02949},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2111.01221