重新思考 DP-SGD 的安全性：对差分隐私机器学习的修正分析
密码学与安全
2026-05-18 v1
摘要
差分隐私随机梯度下降（DP-SGD）是保护机器学习中训练数据常用的方法。其隐私保证通常通过一种安全游戏进行分析，即对抗者从机制输出推断目标记录是否包含在训练数据集中。所得隐私泄漏通过隐私曲线进行表征，该曲线报告了随着假阳性率变化而变化的假阴性率。我们识别出这种形式化分析与常见 DP-SGD 实现之间的不匹配。已有的分析常将 DP-SGD 及其变体建模为子采样高斯机制（SGM），即向从泊松抽样的小批量中计算的裁剪梯度之和添加高斯噪声。然而在实际中，许多实现采用额外的归一化步骤：将带噪声的梯度之和除以期望小批量大小或抽样小批量大小。因此，这些机制更准确地形式化为期望平均子采样高斯机制（EASGM）或小批量平均子采样高斯机制（ASGM）。我们在 EASGM 和 ASGM 表述下重新分析了 DP-SGD 的隐私保证。我们的理论结果表明，这些保证可能弱于标准基于 SGM 的保证，暗示在某些情形下，实际隐私泄漏可能超过报告的保证。我们进一步审计了四个最先进的 DP-SGD 实现，包括 Meta 的 Opacus 库，观察到超出 SGM-based 保证的实证泄漏。最后，我们审计了 Opacus 版本 v0.9.0 到 v1.5.4，并为最新实现推导了修正后的隐私保证。
引用
@article{arxiv.2605.15648,
title = {Rethinking the Security of DP-SGD: A Corrected Analysis of Differentially Private Machine Learning},
author = {Wenhao Wang and Shujie Cui and Hui Cui and Xingliang Yuan},
journal= {arXiv preprint arXiv:2605.15648},
year = {2026}
}