用于差分隐私的移位插值

噪声梯度下降及其变体是差分隐私机器学习的主要算法。量化其隐私泄露是一个基本问题，然而即使在凸损失函数的基础设定下，紧密的刻画仍未解决。本文通过在与 $f$-差分隐私的统一框架中建立（并完善）“迭代隐私放大”现象，改进了先前的分析——该框架紧密捕捉了隐私损失的所有方面，并立即意味着在其他差分隐私概念（如 $(\varepsilon,\delta)$-DP 和 R\'enyi DP）中更紧密的隐私核算。我们的关键技术洞察是构建移位插值过程，从而解构流行的移位散度论证，使得能够推广到基于散度的 DP 松弛之外。值得注意的是，这导致了强凸优化基础设定下的首个精确隐私分析。我们的技术扩展到了许多设定：凸/强凸、有约束/无约束、全量/循环/随机批次，以及它们的所有组合。作为一个直接推论，我们恢复了 Gopi 等人 (2022) 中关于强凸优化指数机制的 $f$-DP 刻画，并将此结果扩展到了更一般的设定。