勿使隐私过度损耗效用：面向私有学习的梯度嵌入扰动

模型关于训练数据的隐私泄露可在差分隐私机制中被限定。然而，对于有意义的隐私参数，当模型包含大量可训练参数时，差分隐私模型的效用会急剧下降。在本文中，我们提出一种算法 \emph{梯度嵌入扰动（Gradient Embedding Perturbation, GEP）}，用于训练具有可观精度的差分隐私深度模型。具体而言，在每步梯度下降中，GEP 首先将个体私有梯度投影到非敏感锚子空间中，产生低维梯度嵌入和小范数残差梯度。然后，GEP 根据隐私预算分别对低维嵌入和残差梯度进行扰动。这种分解允许较小的扰动方差，极大有助于打破私有学习的维度障碍。借助 GEP，我们以合理的计算成本和适度的隐私保证为深度模型取得了可观的精度。特别地，在隐私界 $\epsilon=8$ 下，我们在 CIFAR10 上达到 $74.9\%$ 测试精度，在 SVHN 上达到 $95.1\%$ 测试精度，显著优于现有结果。