可证明地从模型梯度重建训练数据
机器学习
2023-06-13 v3 密码学与安全
机器学习
摘要
理解模型梯度何时以及多大程度上泄露关于训练样本的信息，是隐私中的一个重要问题。在本文中，我们呈现了一个令人惊讶的结果：即使不训练或记忆数据，我们也能从随机选取参数值处的单次梯度查询中完全重建训练样本。我们证明了在温和条件下训练数据的可辨识性：适用于浅层或深层神经网络以及广泛的激活函数。我们还提出了一种基于张量分解的统计与计算高效的算法来重建训练数据。作为一种可证明的、揭示敏感训练数据的攻击，我们的发现暗示了对隐私的潜在严重威胁，尤其在联邦学习中。
引用
@article{arxiv.2212.03714,
title = {Reconstructing Training Data from Model Gradient, Provably},
author = {Zihan Wang and Jason D. Lee and Qi Lei},
journal= {arXiv preprint arXiv:2212.03714},
year = {2023}
}