梯度稀疏化可改善差分隐私凸机器学习的性能

我们利用梯度稀疏化来降低差分隐私噪声对私有机器学习模型性能的不利影响。为此，我们采用压缩感知与加性拉普拉斯噪声来评估差分隐私梯度。带噪声的隐私保护梯度被用于执行随机梯度下降以训练机器学习模型。通过将所有最小的梯度项置零实现的稀疏化，会降低训练算法的收敛速度。然而，借助稀疏化与压缩感知，所通信梯度的维度以及加性噪声的幅度均可减小。这些效应之间的相互作用决定了梯度稀疏化是否能改善差分隐私机器学习模型的性能。我们在本文中对此进行了分析研究。我们证明，对于较小的隐私预算，压缩能够改善隐私保护机器学习模型的性能。然而，对于较大的隐私预算，压缩未必能改善性能。直观上，这是因为隐私保护噪声的影响在较大隐私预算机制下极小，因而梯度稀疏化带来的改进无法弥补其较慢的收敛。