联邦学习中来自梯度的用户级标签泄露
密码学与安全
2022-01-04 v4 机器学习
摘要
联邦学习使多个用户能够通过共享其模型更新（梯度）来构建联合模型，而他们的原始数据仍保留在其设备的本地端。与普遍认为此举带来隐私好处的观点相反，我们在此补充了关于共享梯度时隐私风险的最新结果。具体而言，我们研究了梯度标签泄露（LLG），这是一种从用户共享的梯度中提取其训练数据标签的新型攻击。该攻击利用梯度的方向和大小来确定任意标签的存在与否。LLG 简单而有效，能够泄露由标签表示的潜在敏感信息，并且可良好地扩展到任意批量大小和多个类别。我们在数学上和实证上证明了该攻击在不同设置下的有效性。此外，实证结果表明，LLG 在模型训练的早期阶段就能以高准确率成功提取标签。我们还讨论了针对此类泄露的不同防御机制。我们的研究结果表明，梯度压缩是一种缓解该攻击的实用技术。
引用
@article{arxiv.2105.09369,
title = {User-Level Label Leakage from Gradients in Federated Learning},
author = {Aidmar Wainakh and Fabrizio Ventola and Till Müßig and Jens Keim and Carlos Garcia Cordero and Ephraim Zimmer and Tim Grube and Kristian Kersting and Max Mühlhäuser},
journal= {arXiv preprint arXiv:2105.09369},
year = {2022}
}
备注
to be published in PETS 2022