BEV-SGD：面向基于模拟聚合的联邦学习中抵御拜占庭攻击的最优尽力投票SGD
机器学习
2022-04-15 v2 密码学与安全
分布式、并行与集群计算
信息论
math.IT
摘要
作为一种有前景的分布式学习技术，基于空中接口的模拟聚合联邦学习（FLOA）在边缘计算范式下提供高通信效率与隐私保护。当所有边缘设备（工作节点）同时通过共享的时频资源向参数服务器（PS）上传本地更新时，PS仅获得平均更新而非各个本地更新。尽管这种并发传输与聚合方案降低了时延与通信开销，却不幸使FLOA易受拜占庭攻击。针对拜占庭鲁棒FLOA，本文从分析FLOA中广泛使用的功率控制信道反转（CI）机制入手。理论分析表明，尽管CI在良性场景下能取得良好学习性能，但其对拜占庭攻击的防御能力有限。随后，我们提出一种称为最优尽力投票（BEV）功率控制策略的新方案，并与随机梯度下降（SGD）结合。我们的BEV-SGD通过允许所有工作节点以最大发射功率发送本地更新，增强了FLOA对拜占庭攻击的鲁棒性。在最坏情况攻击下，我们分别推导出采用CI与BEV功率控制策略时FLOA的期望收敛速率。速率比较表明，我们的BEV-SGD在收敛行为上优于采用CI的对应方案，实验仿真验证了这一点。
引用
@article{arxiv.2110.09660,
title = {BEV-SGD: Best Effort Voting SGD for Analog Aggregation Based Federated Learning against Byzantine Attackers},
author = {Xin Fan and Yue Wang and Yan Huo and Zhi Tian},
journal= {arXiv preprint arXiv:2110.09660},
year = {2022}
}
备注
Version 2:Revised some proofs, some typos, and some expressions of sentences