偏差感知最小化:理解并缓解私有 SGD 中的估计器偏差
机器学习
2023-08-24 v1 密码学与安全
摘要
差分私有 SGD(DP-SGD)有望实现机器学习在敏感数据集上的安全与负责任应用。然而,DP-SGD 仅提供小批量梯度的有偏含噪估计。这使得优化步骤效率降低,并由此限制了模型效用。在本工作中,我们揭示了逐样本梯度范数与 DP-SGD 所用私有梯度预言机的估计偏差之间的关联。在此,我们提出偏差感知最小化(BAM),可证明地降低私有梯度估计器偏差。我们展示了如何高效计算 BAM 所需量以扩展到大型神经网络,并指出了其与锐度感知最小化等密切相关方法的相似性。最后,我们提供经验证据:BAM 不仅降低偏差,还在 CIFAR-10、CIFAR-100 和 ImageNet-32 数据集上大幅改善了隐私-效用权衡。
引用
@article{arxiv.2308.12018,
title = {Bias-Aware Minimisation: Understanding and Mitigating Estimator Bias in Private SGD},
author = {Moritz Knolle and Robert Dorfman and Alexander Ziller and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2308.12018},
year = {2023}
}
备注
Accepted to the 2023 Theory and Practice of Differential Privacy (TPDP) Workshop