具有隐状态的差分隐私零阶优化中的隐私放大

零阶优化已成为在差分隐私（DP）和内存约束下微调大型语言模型的一种有前景的方法。尽管迭代隐私放大（PABI）为一阶方法提供了收敛的 DP 界，但为零阶方法建立类似保证仍是一个开放问题。一阶 PABI 分析依赖于梯度受各向同性噪声扰动这一事实，从而允许通过平移 R\'enyi 散度迭代跟踪隐私界。相比之下，DP 零阶方法沿随机更新方向注入标量噪声以维持效用。这种各向异性更新不符合标准的平移散度框架，因为全局 Lipschitz 性质不再几乎必然成立。通过提出一种混合噪声机制和一种新颖的耦合分析，我们首次为零阶优化提供了隐状态 DP 收敛界。我们通过构建一个耦合辅助过程绕过了纯平移散度方法，这规避了全局 Lipschitz 障碍并产生了收敛的隐私界。此外，我们的结果催生了以往文献中未知的更优 DP 零阶算法设计。