机器学习中防范重构攻击的隐私概念比较

在机器学习社区中，重构攻击是一个主要关切点，甚至在以隐私保护为设计初衷的联邦学习（FL）中也已被发现。为应对这些威胁，隐私社区建议在随机梯度下降算法中使用差分隐私（DP），即 DP-SGD。然而，近年来差分隐私变体（如度量隐私）的激增，使得不同机制之间的公平比较变得困难，因为不同变体中隐私参数 $\epsilon$ 和 $\delta$ 的含义各不相同。因此，在联邦学习语境下以及不同差分隐私变体之间，解释 $\epsilon$ 和 $\delta$ 的实际影响仍然模糊不清。在本文中，我们为比较具有不同隐私保证概念的机制（即 $(\epsilon,\delta)$-DP 和度量隐私）奠定了一个基础框架。我们提供了两种基础的比较方法：第一种是通过 Rényi 差分隐私框架实现的、已确立的 $(\epsilon,\delta)$-DP 保证；第二种是通过 Bayes 容量，我们将其确定为衡量重构威胁的合适度量。