部分与完全共谋下分层无线联邦学习的私有聚合
机器学习
2024-07-19 v2 密码学与安全
分布式、并行与集群计算
机器学习
摘要
在联邦学习中，协调方协调在若干参与客户端持有的私有数据上训练模型（如神经网络）。训练模型时运行著名的流行迭代优化过程——梯度下降算法。每个客户端基于本地数据计算部分梯度并发送给协调方，协调方聚合结果并更新模型。客户端数据的隐私是主要关注点。事实上，研究表明观测部分梯度足以泄露客户端数据。现有文献聚焦于在所有用户彼此互联且均连接到协调方的设定下解决联邦学习隐私问题的私有聚合方案。本文考虑一种分层无线系统架构，其中客户端连接到基站；基站直接或通过中继连接到协调方。我们考察有中继与无中继的设定，并在不同共谋假设下推导信息论隐私的通信代价基本极限。我们针对这些设定引入了适宜的私有聚合方案，其通信代价与所推导界限相差仅为乘性常数因子。
引用
@article{arxiv.2306.14088,
title = {Private Aggregation in Hierarchical Wireless Federated Learning with Partial and Full Collusion},
author = {Maximilian Egger and Christoph Hofmeister and Antonia Wachter-Zeh and Rawad Bitar},
journal= {arXiv preprint arXiv:2306.14088},
year = {2024}
}