基于朗之万动力学的差分隐私神经网络训练以获得校准的预测不确定性
机器学习
2021-08-05 v2 密码学与安全
计算机视觉与模式识别
摘要
我们表明差分隐私随机梯度下降（DP-SGD）会产生校准不良、过度自信的深度学习模型。这对于安全关键应用（例如医学诊断）是一个严重问题。我们强调并利用随机梯度朗之万动力学（一种用于训练深度神经网络的可扩展贝叶斯推断技术）与DP-SGD之间的相似性，通过对原始（DP-SGD）算法进行微小调整来训练差分隐私的贝叶斯神经网络。我们的方法比DP-SGD提供了可靠得多的不确定性估计，这通过预期校准误差的降低在经验上得到证明（MNIST约5倍，儿科肺炎数据集约2倍）。
引用
@article{arxiv.2107.04296,
title = {Differentially private training of neural networks with Langevin dynamics for calibrated predictive uncertainty},
author = {Moritz Knolle and Alexander Ziller and Dmitrii Usynin and Rickmer Braren and Marcus R. Makowski and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2107.04296},
year = {2021}
}
备注
Accepted to the ICML 2021 Theory and Practice of Differential Privacy Workshop