差分隐私贝叶斯神经网络在准确性、隐私性与可靠性上的研究
机器学习
2023-02-21 v2 密码学与安全
机器学习
摘要
贝叶斯神经网络（Bayesian neural network, BNN）允许在预测中进行不确定性量化，相较于常规神经网络具有一项优势，而在差分隐私（differential privacy, DP）框架中尚未被探索。我们通过借助贝叶斯深度学习和隐私核算的最新进展，对 BNN 中隐私与准确性之间的权衡进行更精确的分析，从而填补这一重要空白。我们提出三种 DP-BNN，以不同方式刻画相同网络架构下的权重不确定性，即 DP-SGLD（通过噪声梯度方法）、DP-BBP（通过改变感兴趣的参数）和 DP-MC Dropout（通过模型架构）。有趣的是，我们展示了 DP-SGD 与 DP-SGLD 之间的一种新的等价性，意味着某些非贝叶斯 DP 训练自然允许不确定性量化。然而，学习率和批大小等超参数在 DP-SGD 与 DP-SGLD 中可能产生不同甚至相反的影响。我们进行了大量实验，从隐私保证、预测准确性、不确定性量化、校准、计算速度以及对网络架构的泛化能力方面比较 DP-BNN。结果我们观察到隐私与可靠性之间的新权衡。与非 DP 及非贝叶斯方法相比，DP-SGLD 在强隐私保证下异常准确，展示了 DP-BNN 在真实世界任务中的巨大潜力。
引用
@article{arxiv.2107.08461,
title = {Differentially Private Bayesian Neural Networks on Accuracy, Privacy and Reliability},
author = {Qiyiwen Zhang and Zhiqi Bu and Kan Chen and Qi Long},
journal= {arXiv preprint arXiv:2107.08461},
year = {2023}
}