基于分位二分查找的差分隐私 conformal 预测

大多数差分隐私 (Differentially Private, DP) 方法侧重于限制基于训练数据的人类学习者的隐私泄露，然而对于涉及校准数据集的程序（在如 conformal 预测 (Conformal Prediction, CP) 这样的不确定性量化方法中常见）的隐私泄露考量则鲜有研究。鉴于此方向方法有限，本文提出一种通用的 DP 方法，用于 CP，称为基于分位二分查找的私有 conformity (Private Conformity via Quantile Search, P-COQS)。该方法采用现有用于计算 DP 分位值的随机二分查找算法，适用于 CP 的校准阶段，从而保证随后预测集的隐私。然而，这以一定成本为代价：在使用有限样本校准集时，可能略低于所需 (1-α) 级别的覆盖。尽管如此，广泛的实证结果表明，P-COQS 在所考虑的情形下通常针对所需水平进行 Targeting。我们确认所采用算法的属性并量化随后 CP 的近似覆盖保证，进行大量实验以检验隐私噪声、样本量和显著性水平对该方法性能的影响。此外，我们在多个基准数据集上经验评估该方法，包括 CIFAR-10、ImageNet 和 CoronaHack。我们的结果表明，该方法对隐私噪声具有鲁棒性，在经验覆盖、效率和信息性方面均优于当前 DP 方法。具体而言，结果表明 P-COQS 在所有这些实验设置下均产生较小的 conformal 预测集，同时同时满足所需的覆盖率和隐私保证。