深度学习中级差分隐私与梯度压缩的交互作用
机器学习
2022-11-03 v1 密码学与安全
摘要
虽然差分隐私和梯度压缩在机器学习中分别是研究较为充分的主题，但关于这两个主题之间交互作用的研究仍相对新颖。我们针对差分隐私的高斯机制与梯度压缩如何共同影响深度学习中的测试准确率进行了详细的实证研究。现有梯度压缩文献大多在无差分隐私保证下评估压缩，并表明足够高的压缩率会降低准确率。类似地，现有差分隐私文献在无压缩下评估隐私机制，并表明足够强的隐私保证会降低准确率。在本工作中，我们观察到虽然梯度压缩通常在非私有训练中对测试准确率有负面影响，但在差分私有训练中它有时能改善测试准确率。具体而言，我们观察到当对梯度采用激进的稀疏化或秩约简时，测试准确率受为差分隐私添加的高斯噪声影响较小。这些观察通过对差分隐私和压缩如何影响平均梯度估计中的偏差和方差的分析得到解释。我们在该研究之后给出了在差分私有深度学习和梯度压缩背景下如何提高测试准确率的建议。我们评估了该方案，发现其可将差分隐私机制添加噪声对测试准确率的负面影响最多降低24.6%，并将梯度稀疏化对测试准确率的负面影响最多降低15.1%。
引用
@article{arxiv.2211.00734,
title = {On the Interaction Between Differential Privacy and Gradient Compression in Deep Learning},
author = {Jimmy Lin},
journal= {arXiv preprint arXiv:2211.00734},
year = {2022}
}