利用无线信道实现可扩展且隐私保护的联邦学习
机器学习
2020-11-18 v2 信息论
网络与互联网体系结构
math.IT
机器学习
摘要
无线连接在实现可扩展联邦学习（FL）方面至关重要，然而无线信道给模型训练带来挑战，其中信道随机性扰动每个工作节点的模型更新，同时多个工作节点的更新在有限带宽下产生显著干扰。为应对这些挑战，本文提出一种新颖的约束优化问题，并设计了一个利用无线信道扰动与干扰来改善隐私、带宽效率与可扩展性的 FL 框架。所得到的算法基于模拟传输与交替方向乘子法（ADMM），被称为模拟联邦 ADMM（A-FADMM）。在 A-FADMM 中，所有工作节点通过模拟传输使用单一信道向参数服务器（PS）上传模型更新，在此过程中所有模型被扰动并空中聚合。这不仅节省通信带宽，还向任何窃听者（包括诚实但好奇的 PS）隐藏了每个工作节点的精确模型更新轨迹，从而针对模型反演攻击保护数据隐私。我们形式化证明了 A-FADMM 在时变信道下对凸函数的收敛性与隐私保证，并通过数值实验展示了 A-FADMM 在噪声信道与随机非凸函数下于收敛速度、可扩展性以及通信带宽与能量效率方面的有效性。
引用
@article{arxiv.2007.01790,
title = {Harnessing Wireless Channels for Scalable and Privacy-Preserving Federated Learning},
author = {Anis Elgabli and Jihong Park and Chaouki Ben Issaid and Mehdi Bennis},
journal= {arXiv preprint arXiv:2007.01790},
year = {2020}
}
备注
14 pages, 7 figures; This article has been submitted to IEEE for possible publication