私有列表可学习性 vs. 在线列表可学习性

本工作探讨了差分隐私 (DP) 与在线学习在 PAC 列表学习语境中的联系。在此情境下，$k$-list 学习器会输出 $k$ 个可能的预测列表，用于给定实例 $x$，若真实标签不在列表中则会产生损失。在有限标签数量的 multiclass PAC 框架中，一个基本结果表明私有可学习性等价于在线可学习性 [Alon, Livni, Malliaris, and Moran (2019); Bun, Livni, and Moran (2020); Jung, Kim, and Tewari (2020)]。令人惊讶的是，我们发现这种等价性在列表学习语境中不成立。具体而言，我们证明了与 multiclass 情况不同，有限的 $k$-Littlestone 维度——一种用于表征在线 $k$-list 可学习性的经典 Littlestone 维度的变体——并非 DP $k$-list 可学习性的充要条件。然而，类似于 multiclass 情况，我们证明了它仍是必要条件。为说明等价性何时破裂， 我们提供一个例子表明具有 $k+1$ 个标签的单调函数类在线 $k$-list 可学习，但不具备 DP $k$-list 可学习性。这导致我们引入一种新的组合维度，即 \emph{$k$-monotone dimension}，作为阈值维度的推广。与 multiclass 情况不同，在 $k>1$ 时，$k$-Littlestone 维度和 $k$-monotone 维度之间不存在这种关系。我们证明了有限的 $k$-monotone 维度是 DP $k$-list 可学习性的另一个必要条件，除 finite $k$-Littlestone 维度之外。是否两个维度的有限性意味着私有 $k$-list 可学习性仍是一个开放问题。