在连续模数下对投影 Langevin 算法进行混合时间和隐私分析

我们研究了投影 Langevin 算法 (LA) 的混合时间以及带噪声随机梯度下降 (SGD) 的隐私曲线，超出非收缩迭代的范围。具体而言，我们推导了投影 LA 的新的混合时间上界，在一些重要情况下，这些上界是维度无关的，并且对准确度呈对数多项式增长， closely 匹配光滑凸 case 中的现有结果。此外，我们为带噪声 subsampled SGD 算法建立了新的隐私上界。这些上界显示出梯度规整性的关键依赖性，适用于光滑 case 之外的广泛范围凸损失函数。我们的分析依赖于对 Privacy Amplification by Iteration (PABI) 框架 (Feldman 等人，2018；Altschuler 和 Talwar，2022, 2023) 的合适扩展，以处理梯度图不一定是非收缩的噪声迭代。通过设计一个优化问题来考虑 PABI 获得的最佳 R\'enyi 散度上界来实现这一扩展，其中该问题的可解性与相关梯度图的连续模数密切相关。我们表明，在一些有趣的 case 中——即非光滑凸、弱光滑和（强）耗散——这些优化问题可以完全求解并显式给出，从而得到最紧致的 PABI 基于上界。