基于随机投影与符号随机投影的差分隐私

本文中，我们基于随机投影（RP）族开发了一系列差分隐私（DP）算法，用于机器学习、数据挖掘与信息检索中的通用应用。在所提出的算法中，iDP-SignRP在“个体差分隐私”（iDP）设定下基于符号随机投影（SignRP）表现尤为有效。此外，DP-SignOPORP在标准DP设定下显著改进了文献中的现有算法，其使用“一次置换加一次随机投影”（OPORP），其中OPORP是著名的count-sketch方法在定长分箱与归一化下的变体。在不取符号的DP-RP族中，DP-OPORP取得了最佳性能。我们改进DP-RP的核心思想是仅取投影数据的符号，即 $sign(x_j) = sign\left(\sum_{i=1}^p u_i w_{ij}\right)$。其直觉在于，当原始数据（$u$）发生微小变化（依据DP中的“邻居”定义）时，符号通常保持不变。换言之，聚合与量化操作本身提供了良好的隐私保护。我们开发了一种称为“平滑翻转概率”的技术，将SignRP这种直观的隐私优势纳入其中，并改进了标准DP比特翻转策略。基于该技术，我们提出满足严格DP且优于其他基于SignRP（及RP）的DP变体的DP-SignOPORP，尤其在 $\epsilon$ 不太大时（如 $\epsilon = 5\sim10$）。此外，若应用场景接受个体DP，我们可立即得到即使在小 $\epsilon$（如 $\epsilon<0.5$）下也能取得优异效用的iDP-SignRP算法。