从 Rashomon 集的差分隐私采样及朗之万扩散在凸优化中的普适性
机器学习
2023-08-30 v4 密码学与安全
最优化与控制
摘要
在本文中，我们提供了一个基于朗之万扩散（Langevin diffusion, LD）及其相应离散化的算法框架，使我们能够同时获得：i) 一种从指数机制中采样的算法，其隐私分析不依赖于凸性，并且可以在任何时刻停止而不损害隐私；ii) 指数机制的紧一致稳定性保证。作为直接结果，我们在纯差分隐私（DP）和近似差分隐私（DP）下均获得了（强）凸损失的最优超额经验风险和超额总体风险保证。该框架允许我们设计一种从 Rashomon 集的 DP 一致采样器。Rashomon 集被广泛用于可解释和鲁棒机器学习、理解变量重要性以及刻画公平性。
引用
@article{arxiv.2204.01585,
title = {Differentially Private Sampling from Rashomon Sets, and the Universality of Langevin Diffusion for Convex Optimization},
author = {Arun Ganesh and Abhradeep Thakurta and Jalaj Upadhyay},
journal= {arXiv preprint arXiv:2204.01585},
year = {2023}
}
备注
Appeared in COLT 2023. For ease of presentation, some results appear in the previous version of this paper on arXiv (v3) that do not appear in this version, nor are subsumed by results in this version. Please see Section 1.4 for more details