技术报告：从几何角度分析和优化 DP-SGD 的扰动

差分隐私 (DP) 已成为广泛应用于机器学习任务中的流行隐私模型，尤其是在 DP-SGD 问世后。然而，DP-SGD 直接在训练迭代中扰动梯度，无法消除噪声对梯度方向的负面影响。因此，DP-SGD 常常效率低下。虽然提出了各种解决方案（例如通过裁剪来减少梯度灵敏度并放大隐私界以节省隐私预算），但其效率低下的根本原因尚未被揭示。在本工作中，我们首先对 DP-SGD 进行一般化，并理论推导了 DP 噪声对训练过程的影响。我们的分析揭示，对于扰动后的梯度，只有噪声对方向的影响对模型效率影响尤为显著，而对幅度的噪声可以通过优化技术（即微调梯度裁剪和学习率）来缓解。此外，我们确认传统 DP 在对梯度本身添加无偏噪声时，会引入方向上的偏置噪声。总体而言，DP-SGD 的扰动实际上是从几何角度来看是次优的。基于此，我们设计了一种几何扰动策略 GeoDP，置于 DP 框架内分别扰动梯度的方向和幅度。通过直接减少方向上的噪声，GeoDP 在保持相同 DP 保证下，缓解了 DP 噪声对模型效率的负面影响。在两个公开数据集（即 MNIST 和 CIFAR-10）、一个合成数据集和三个流行模型（即 Logistic 回归、CNN 和 ResNet）上的大量实验确认了该策略的有效性和普适性。