DP-Fast MH：用于大规模贝叶斯推断的隐私、快速且准确的 Metropolis-Hastings 方法
机器学习
2023-10-16 v4 机器学习
摘要
贝叶斯推断提供了一个从复杂数据中学习并在不确定性下推理的原则性框架。它已广泛应用于医疗诊断、药物设计和政策制定等机器学习任务中。在这些常见应用中，数据可能高度敏感。差分隐私（DP）提供了具有强最坏情况隐私保证的数据分析工具，并已成为隐私保护数据分析中的主流方法。在本文中，我们研究用于差分隐私下大规模贝叶斯推断的最基本的 MCMC 方法之一 Metropolis-Hastings（MH）。虽然大多数现有的隐私 MCMC 算法为获得隐私而牺牲准确性和效率，我们提出了首个精确且快速的 DP MH 算法，在多数迭代中仅使用小批量数据。我们进一步首次揭示了隐私、可扩展性（即批量大小）和效率（即收敛速率）之间的三方权衡，从理论上刻画了隐私如何影响贝叶斯推断中的效用与计算代价。我们在多项实验中实证展示了我们算法的有效性与高效性。
引用
@article{arxiv.2303.06171,
title = {DP-Fast MH: Private, Fast, and Accurate Metropolis-Hastings for Large-Scale Bayesian Inference},
author = {Wanrong Zhang and Ruqi Zhang},
journal= {arXiv preprint arXiv:2303.06171},
year = {2023}
}