私有真正永久鲁棒预测

私有永久预测 (Private Everlasting Prediction, PEP) 由 Naor 等人 [2023] 最近提出，是一种差分私有学习模型，其中学习器从不公开发布假设。相反，它提供对“预测预言机”的黑盒访问，该预言机可以预测从底层分布中提取的无尽未标记示例流的标签。重要的是，PEP 为初始训练集和无尽的分类查询流都提供了隐私保护。我们提出了对 PEP 定义的两个概念性修改，以及新的构造，展现出相较于先前工作的显著改进。具体而言：(1) 鲁棒性：PEP 仅在所有分类查询均取自正确的底层分布时保证准确性。少数分布外查询可能会破坏预测预言机对未来查询的有效性，即使这些未来查询是从正确分布中采样的。我们将针对此类投毒攻击的鲁棒性纳入 PEP 的定义，并展示了如何实现它。(2) 隐私参数 $\delta$ 对时间范围的依赖性：我们提出了一种适用于 PEP 的松弛隐私定义，允许我们将隐私参数 $\delta$ 与总时间步数 $T$ 解耦。这使我们能够获得样本复杂度独立于 $T$ 的 PEP 算法，从而使其成为“真正永久”的。这与先前样本复杂度随 $polylog(T)$ 增长的工作形成对比。(3) 新构造：先前的 PEP 构造表现出样本复杂度为目标类 VC 维度的二次方。我们提出了针对轴对齐矩形和决策桩的新 PEP 构造，其样本复杂度在维度上是线性的（而非二次方）。我们表明，我们的构造满足非常强的鲁棒性属性。