DP-AdamBC：你的 DP-Adam 实际上是 DP-SGD（除非你应用偏差校正）
机器学习
2023-12-25 v1 密码学与安全
摘要
Adam 优化器因其强大的实证性能而成为当代深度学习中的流行选择。然而，我们观察到在隐私敏感场景中，将传统的差分隐私 (DP) 与 Adam 优化器结合使用会导致在多项任务上性能欠佳。我们发现这种性能下降是由于 Adam 的二阶矩估计器中存在 DP 偏差，该偏差是由梯度计算中为满足 DP 保证而添加的独立噪声引起的。这种 DP 偏差导致低方差参数更新的缩放比例不同，与非私有 Adam 的行为不一致。我们提出了 DP-AdamBC，这是一种优化算法，可消除二阶矩估计中的偏差并恢复 Adam 的预期行为。实证表明，DP-AdamBC 显著提升了 DP-Adam 的优化性能，在图像、文本和图节点分类任务中，最终准确率最高提升了 3.5%。
引用
@article{arxiv.2312.14334,
title = {DP-AdamBC: Your DP-Adam Is Actually DP-SGD (Unless You Apply Bias Correction)},
author = {Qiaoyue Tang and Frederick Shpilevskiy and Mathias Lécuyer},
journal= {arXiv preprint arXiv:2312.14334},
year = {2023}
}
备注
Published as a conference paper at the 38th Annual AAAI Conference on Artificial Intelligence, Vancouver, 2024