分别裁剪主体与尾部：具有重尾的 DPSGD 的高概率保证

差分私有随机梯度下降（DPSGD）被广泛用于在深度学习中保护训练数据隐私，它首先将梯度裁剪到预定义的范数，然后在校准的噪声中注入训练过程。现有的 DPSGD 工作通常假设梯度服从亚高斯分布，并设计各种裁剪机制以优化训练性能。然而，最近的研究表明，深度学习中的梯度表现出重尾现象，即梯度的尾部具有无限方差，这可能导致现有 DPSGD 机制对梯度产生过度的裁剪损失。为了解决这个问题，我们提出了一种新方法，判别式裁剪（DC）-DPSGD，包含两个关键设计。首先，我们引入了一种子空间识别技术来区分主体梯度和尾部梯度。其次，我们提出了一种判别式裁剪机制，对主体梯度和尾部梯度应用不同的裁剪阈值以减少裁剪损失。在非凸条件下，\ourtech{} 将经验梯度范数从 {${\mathbb{O}\left(\log^{\max(0,\theta-1)}(T/\delta)\log^{2\theta}(\sqrt{T})\right)}$} 降低到 {${\mathbb{O}\left(\log(\sqrt{T})\right)}$}，其中重尾指数 $\theta\geq 1/2$，迭代次数 $T$，任意概率 $\delta$。在四个真实世界数据集上的大量实验表明，我们的方法在准确率方面比三个基线高出多达 9.72\%。