具有近似差分隐私的样本高效恰当 PAC 学习

在本文中，我们证明了以近似差分隐私恰当学习 Littlestone 维数为 $d$ 的类，其样本复杂度为 $\tilde O(d^6)$（忽略隐私和精度参数）。该结果回答了 Bun 等人 (FOCS 2020) 的问题，改进了他们关于样本复杂度 $2^{O(d)}$ 的上界。在我们工作之前，有限 Littlestone 维数类的私有学习的样本复杂度有限性仅对不当私有学习器已知，而我们的学习器是恰当的这一事实回答了 Bun 等人的另一个问题，该问题也由 Bousquet 等人 (NeurIPS 2020) 提出。利用 Bousquet 等人发展的工具，我们进而证明了对二值假设类进行清洗的样本复杂度至多是它的 Littlestone 维数和对偶 Littlestone 维数的多项式。这意味着一个类是可清洗的当且仅当它具有有限 Littlestone 维数。我们证明的一个重要组成部分是我们称之为不可约性的二值假设类的新性质，这可能有独立的意义。