PRECODE：防止深度梯度泄漏的通用模型扩展
机器学习
2021-10-22 v2 人工智能
摘要
神经网络的协同训练通过在不同客户端之间交换梯度信息来利用分布式数据。尽管训练数据完全保留在客户端，但最近的研究表明，训练数据可以从这些交换的梯度信息中重建。为了增强隐私，人们提出了梯度扰动技术。然而，这些技术以降低模型性能、增加收敛时间或增加数据需求为代价。在本文中，我们引入了 PRECODE，这是一个 PRivacy EnhanCing mODulE（隐私增强模块），可用作任意模型架构的通用扩展。我们提出使用变分建模来实现简单而有效的 PRECODE。变分建模引发的随机采样有效防止了梯度中的隐私泄漏，进而保护了数据所有者的隐私。我们使用最先进的梯度反演攻击对在三个数据集上训练的两种不同模型架构上的 PRECODE 进行了评估。与常用的防御机制相比，我们发现所提出的修改一致地将攻击成功率降低至 0%，同时对模型训练和最终性能几乎没有负面影响。因此，PRECODE 展现出了一条通向隐私增强模型扩展的有前景的路径。
引用
@article{arxiv.2108.04725,
title = {PRECODE - A Generic Model Extension to Prevent Deep Gradient Leakage},
author = {Daniel Scheliga and Patrick Mäder and Marco Seeland},
journal= {arXiv preprint arXiv:2108.04725},
year = {2021}
}
备注
16 pages, 16 figures, 5 tables (supplementary material included). Accepted at WACV 2022. Code available at https://github.com/SECSY-Group/PRECODE