通过离散化 Langevin MCMC 的 Rényi 散度分析实现更快的差分隐私采样器
机器学习
2020-12-18 v2 密码学与安全
数据结构与算法
概率论
摘要
各种差分隐私算法实例化了指数机制，并要求从分布 中采样，其中 为合适的函数。当分布的定义域为高维时，这种采样在计算上具有挑战性。使用诸如 Gibbs 采样等启发式采样方案并不一定能带来可证明的隐私。当 为凸时，对数凹采样技术带来了多项式时间算法，但多项式次数较大。基于 Langevin 动力学的算法在某些距离度量（如统计距离）下提供了更快的替代方案。在本工作中，我们确立了这些算法在更适合差分隐私的距离度量下的快速收敛性。对于平滑且强凸的 ，我们给出了证明其在 Rényi 散度下收敛的首个结果。这为这类 提供了快速的差分隐私算法。我们的技术简单且通用，同样适用于欠阻尼 Langevin 动力学。
引用
@article{arxiv.2010.14658,
title = {Faster Differentially Private Samplers via R\'enyi Divergence Analysis of Discretized Langevin MCMC},
author = {Arun Ganesh and Kunal Talwar},
journal= {arXiv preprint arXiv:2010.14658},
year = {2020}
}
备注
Appeared in NeurIPS 2020. Fixed a typo in the proof of Theorem 15