关于归一化层对深度神经网络差分隐私训练的影响
机器学习
2021-12-09 v2 密码学与安全
机器学习
摘要
差分隐私随机梯度下降（DPSGD）是基于差分隐私（DP）范式的随机梯度下降的一种变体，可缓解训练数据中敏感信息所带来的隐私威胁。然而，使用DPSGD训练深度神经网络的一个主要缺点是模型准确率的下降。在本文中，我们研究了归一化层对DPSGD性能的影响。我们证明归一化层对具有噪声参数的深度神经网络的效用有显著影响，应被视为DPSGD训练的基本组成部分。特别地，我们提出了一种将批归一化与DPSGD集成而不产生额外隐私损失的新方法。通过我们的方法，能够训练更深的网络并实现更好的效用-隐私权衡。
引用
@article{arxiv.2006.10919,
title = {On the effect of normalization layers on Differentially Private training of deep Neural networks},
author = {Ali Davody and David Ifeoluwa Adelani and Thomas Kleinbauer and Dietrich Klakow},
journal= {arXiv preprint arXiv:2006.10919},
year = {2021}
}