DP-AdamW：探究私有深度学习中的解耦权重衰减与偏差校正

随着深度学习方法在大规模范围内日益使用敏感数据，差分隐私(DP)为在模型训练期间防止信息泄露提供了形式化保证。如何在保持隐私的同时实现优异性能，仍是实现 DP 优化器面临的一项重大挑战。最近的进展引入了越来越高效的优化器，其中 AdamW 因其强大的经验性能成为训练深度学习模型的热门选择。我们研究了 \emph{DP-AdamW} 并引入了 \emph{DP-AdamW-BC}，这是 AdamW 优化器的一个差分隐私变体，对二阶矩估计器进行了 DP 偏差校正。我们首先展示了 DP-AdamW 和 DP-AdamW-BC 的隐私与收敛保证的理论结果。然后，我们在多个隐私预算（$\epsilon = 1, 3, 7$）下实证分析了这两种优化器的行为。我们发现 DP-AdamW 优于现有的最先进差分隐私优化器，如 DP-SGD、DP-Adam 和 DP-AdamBC，在文本分类上高出 15% 以上，在图像分类上高出 5%，在图节点分类上一致高出 1%。此外，我们实证表明，在 DP-AdamW 中引入偏差校正（DP-AdamW-BC）会持续降低准确率，这与 DP-AdamBC 相较于 DP-Adam 的改进形成对比。