通过生成式梯度泄漏审计联邦学习中的隐私防御
计算机视觉与模式识别
2022-03-30 v1
摘要
联邦学习(FL)框架通过允许多个客户端在中央服务器协调下参与学习任务而不交换其私有数据，为分布式学习系统带来隐私益处。然而，近期研究揭示私有信息仍可通过共享的梯度信息泄露。为进一步保护用户隐私，已提出若干防御机制，通过梯度信息退化方法(如在向服务器共享前使用加性噪声或梯度压缩)防止隐私泄露。本工作中，我们验证了在特定防御设置下私有训练数据仍可通过一种新型泄漏即生成式梯度泄漏(GGL)被泄露。与现有仅依赖梯度信息重建数据的方法不同，我们的方法利用从公共图像数据集学习的生成对抗网络(GAN)的潜空间作为先验，以补偿梯度退化过程中的信息损失。为解决梯度算子与GAN模型引起的非线性，我们探索了多种无梯度优化方法(如进化策略与贝叶斯优化)，并经验性展示了它们在从梯度重建高质量图像上相对于基于梯度的优化器的优越性。我们希望所提方法可作为经验性度量隐私泄漏量的工具，以促进更鲁棒防御机制的设计。
引用
@article{arxiv.2203.15696,
title = {Auditing Privacy Defenses in Federated Learning via Generative Gradient Leakage},
author = {Zhuohang Li and Jiaxin Zhang and Luyang Liu and Jian Liu},
journal= {arXiv preprint arXiv:2203.15696},
year = {2022}
}