随机梯度朗之万动力学能否为深度学习提供差分隐私？
机器学习
2023-02-07 v5 密码学与安全
摘要
通过随机梯度朗之万动力学（SGLD）的贝叶斯学习已被建议用于差分隐私学习。尽管先前研究提供了 SGLD 在算法初始步或接近收敛时的差分隐私界，但在此期间两者之间能提供何种差分隐私保证仍属未知。这一中间区域极为重要，尤其对贝叶斯神经网络而言，因为难以保证收敛至后验。本文表明，即便从后验采样具有所需的差分隐私性，使用 SGLD 仍可能导致该中间区域出现无界的隐私损失。
关键词
引用
@article{arxiv.2110.05057,
title = {Can Stochastic Gradient Langevin Dynamics Provide Differential Privacy for Deep Learning?},
author = {Guy Heller and Ethan Fetaya},
journal= {arXiv preprint arXiv:2110.05057},
year = {2023}
}