关于在机器学习模型中部署循环神经网络的隐私风险
密码学与安全
2023-01-23 v3 人工智能
摘要
我们研究了使用敏感训练数据集训练循环神经网络（RNNs）的隐私影响。考虑到成员推断攻击（MIAs）——旨在推断特定数据记录是否用于训练给定机器学习模型——我们提供了经验证据，表明神经网络的架构会影响其对 MIAs 的脆弱性。特别地，我们证明 RNNs 比前馈神经网络（FFNN）对应物遭受更高的攻击准确率。此外，我们研究了两种 prominent 的用于预防 MIAs 的缓解方法的有效性，即权重正则化和差分隐私。对于前者，我们经验性地证明 RNNs 可能仅从权重正则化中边际受益，而 FFNNs 则不然。对于后者，我们发现通过以下两种方法之一实施差分隐私会导致 RNNs 中比替代 FFNNs 更不利的隐私-效用权衡：（i）在所谓 DP-SGD 算法中向训练期间计算的梯度添加高斯噪声，以及（ii）向我们提出的训练后机制中的可训练参数添加高斯噪声。因此，RNNs 也可能较不易于缓解方法处理，使我们得出结论：与循环架构相关的隐私风险高于前馈对应物。
引用
@article{arxiv.2110.03054,
title = {On the Privacy Risks of Deploying Recurrent Neural Networks in Machine Learning Models},
author = {Yunhao Yang and Parham Gohari and Ufuk Topcu},
journal= {arXiv preprint arXiv:2110.03054},
year = {2023}
}
备注
Under Double-Blind Review