具有隐私保护的分层联邦学习
机器学习
2022-06-13 v1 密码学与安全
摘要
联邦学习（FL）中数据保留在联邦客户端，仅与中心聚合器共享梯度更新，曾被认为具有隐私性。近期工作表明，具有梯度级访问权限的对手可发起成功的推断与重构攻击。在此类设定下，差分隐私（DP）学习已知能提供抵御能力。然而，现状中使用的方法（即中心与局部 DP）引入了不同的效用-隐私权衡。本工作中，我们通过对{\em 分层 FL（HFL）}迈出第一步来缓解此类权衡。我们证明，通过引入一个新的中间层，在其中可加入经校准的 DP 噪声，可获得更好的隐私-效用权衡；我们称之为{\em 分层 DP（HDP）}。我们使用 3 个不同数据集（通常作为 FL 基准）的实验表明，HDP 产生的模型与在中心聚合器加噪的中心 DP 所得模型一样准确。该方法也提供与局部 DP 情形（在联邦客户端加噪）相当的抵御推断对手的收益。
引用
@article{arxiv.2206.05209,
title = {Hierarchical Federated Learning with Privacy},
author = {Varun Chandrasekaran and Suman Banerjee and Diego Perino and Nicolas Kourtellis},
journal= {arXiv preprint arXiv:2206.05209},
year = {2022}
}