随机梯度朗之万动力学中成员隐私的刻画
机器学习
2019-10-08 v1 机器学习
摘要
贝叶斯深度学习近来被视为刻画深度神经网络（DNNs）权重不确定性的本质方法。随机梯度朗之万动力学（SGLD）是一种在大规模数据集上实现贝叶斯深度学习的有效方法。以往的理论研究已展示了 SGLD 多种引人注目的性质，从收敛性到泛化界不一而足。本文中，我们从成员隐私保护（即防止成员攻击）这一新颖视角研究 SGLD 的性质。成员攻击旨在判定特定样本是否用于训练给定 DNN 模型，已成为针对深度学习算法的常见威胁。为此，我们建立理论框架以分析使用 SGLD 训练的模型的信息泄露（关于训练数据集）。基于此框架，我们证明 SGLD 能在一定程度上防止训练数据集的信息泄露。此外，我们的理论分析可自然推广到其他类型的随机梯度马尔可夫链蒙特卡洛（SG-MCMC）方法。在不同数据集与模型上的实证结果验证了我们的理论发现，并表明 SGLD 算法不仅能减少信息泄露，还能提升 DNN 模型在真实应用中的泛化能力。
引用
@article{arxiv.1910.02249,
title = {Characterizing Membership Privacy in Stochastic Gradient Langevin Dynamics},
author = {Bingzhe Wu and Chaochao Chen and Shiwan Zhao and Cen Chen and Yuan Yao and Guangyu Sun and Li Wang and Xiaolu Zhang and Jun Zhou},
journal= {arXiv preprint arXiv:1910.02249},
year = {2019}
}
备注
Under review of AAAI 2020