GRNN：生成式回归神经网络——一种针对联邦学习的数据泄露攻击
机器学习
2022-09-13 v3 密码学与安全
计算机视觉与模式识别
摘要
数据隐私已成为机器学习（ML）中日益重要的问题，许多方法被提出以应对该挑战，例如密码学（同态加密（HE）、差分隐私（DP）等）与协作训练（安全多方计算（MPC）、分布式学习与联邦学习（FL））。这些技术特别关注数据加密或安全本地计算。它们将中间信息传输给第三方以计算最终结果。梯度交换通常被认为是深度学习中协作训练鲁棒模型的安全方式。然而，近期研究表明敏感信息可从共享梯度中恢复。特别是生成对抗网络（GAN）已被证明能有效恢复此类信息。但基于 GAN 的技术需要额外信息，例如类标签，而这在隐私保护学习中通常不可用。本文中，我们展示在 FL 系统中，仅通过我们提出的生成式回归神经网络（GRNN）即可从共享梯度中完整恢复基于图像的隐私数据。我们将该攻击表述为回归问题，并通过最小化梯度间距离优化生成模型的两个分支。我们在多个图像分类任务上评估了该方法。结果表明我们提出的 GRNN 以更好的稳定性、更强鲁棒性和更高准确率优于 SOTA 方法。它还对全局 FL 模型无收敛要求。此外，我们利用人脸重识别展示了信息泄露。本工作还讨论了一些防御策略。
引用
@article{arxiv.2105.00529,
title = {GRNN: Generative Regression Neural Network -- A Data Leakage Attack for Federated Learning},
author = {Hanchi Ren and Jingjing Deng and Xianghua Xie},
journal= {arXiv preprint arXiv:2105.00529},
year = {2022}
}
备注
The source code can be found at: https://github.com/Rand2AI/GRNN