R-GAP：针对隐私的递归梯度攻击
机器学习
2021-03-17 v3 人工智能
摘要
联邦学习框架被视为打破隐私需求与从大量分布式数据学习之前景间困境的一种有前景的方法。许多此类框架仅要求协作者共享其对公共模型的局部更新，即相对于本地存储数据的梯度，而非向其他协作者暴露原始数据。然而，近期基于优化的梯度攻击表明，原始数据常可从梯度中被精确恢复。已有研究表明，最小化真实梯度与由估计数据算得的梯度间的欧氏距离通常能有效地完全恢复隐私数据。然而，对于梯度如何以及何时能唯一恢复原始数据，根本上缺乏理论理解。我们的研究通过给出从深度神经网络梯度中恢复数据的闭式递归过程填补了这一空白。我们将其命名为针对隐私的递归梯度攻击（R-GAP）。实验结果表明，在特定条件下，R-GAP 以极少的计算代价达到甚至优于基于优化的方法。此外，我们提出一种秩分析方法，可用于估计特定网络架构中梯度攻击的固有风险，无论使用基于优化的还是闭式递归的攻击。实验结果证明了该秩分析在提升网络安全性方面的效用。源代码可从 https://github.com/JunyiZhu-AI/R-GAP 下载。
引用
@article{arxiv.2010.07733,
title = {R-GAP: Recursive Gradient Attack on Privacy},
author = {Junyi Zhu and Matthew Blaschko},
journal= {arXiv preprint arXiv:2010.07733},
year = {2021}
}