基于多数投票 ensembles 的私有预测最优权衡

我们研究私有预测中的经典问题，即计算 $m\epsilon, \delta$ -差分隐私下 $K$ 个 $(\epsilon, \Delta)$ -差分隐私算法的多数投票，其中 $1 \leq m \leq K$ 且 $1 > \delta \geq \Delta \geq 0$。标准方法如抽样或随机响应广泛使用，但它们是否提供最佳的隐私-效用权衡？为此，我们引入Data-dependent Randomized Response Majority (DaRRM) 算法。它以数据依赖的噪声函数 $\gamma$ 为参数，使其能够高效地优化效用，涵盖所有私有算法，其中包括这些标准方法。我们表明，通过一种新颖的结构结果，最大化 $m\epsilon, \delta$ -私有多数算法的效用可以对任意 $m \leq K$ 进行可tractable 求解，将无限多个隐私约束简化为多项式数量的约束。在某些情况下，我们表明 DaRRM 在保守效用下相对于常见基线具有隐私收益约为 2 的因子。最后，我们展示了我们首个数据依赖的隐私约束效用优化在图像分类中对私有教师的私有标签进行 ensembles 的强大实证效果。值得注意的是，我们的 DaRRM 框架通过优化 $\gamma$ 在多个基线之间实现了显著的效用提升。