从表示视角看联邦学习中可证明的隐私泄露防御
机器学习
2020-12-14 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习(FL)是一种流行的分布式学习框架，可通过不显式共享私有数据来降低隐私风险。然而，近期工作表明，共享模型更新使 FL 易受推理攻击。在本工作中，我们展示了关键观察：来自梯度的数据表示泄露是 FL 中隐私泄露的根本原因。我们还对该观察进行了分析，解释数据表示如何被泄露。基于该观察，我们提出了一种针对 FL 中模型反演攻击的防御方法。我们防御的核心思想是学习扰动数据表示，使得重建数据质量严重下降，同时保持 FL 性能。此外，在应用我们的防御后，我们推导出了 FL 的认证鲁棒性保证和 FedAvg 的收敛性保证。为评估我们的防御，我们在 MNIST 和 CIFAR10 上针对 DLG 攻击和 GS 攻击进行了实验。在不牺牲准确率的情况下，结果表明，与基线防御方法相比，我们所提防御能使 DLG 攻击和 GS 攻击下重建数据与原始数据之间的均方误差提高多达 160 倍以上。FL 系统的隐私得到显著改善。
引用
@article{arxiv.2012.06043,
title = {Provable Defense against Privacy Leakage in Federated Learning from Representation Perspective},
author = {Jingwei Sun and Ang Li and Binghui Wang and Huanrui Yang and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:2012.06043},
year = {2020}
}