多概念的同时差分隐私学习

我们研究了差分隐私 PAC 学习背景下的直接求和问题：在差分隐私下同时解决 $k$ 个学习任务的样本复杂度是多少，以及该代价与在无隐私情况下解决 $k$ 个学习任务的代价相比如何？在我们的设定中，单个样本由一个域元素 $x$ 组成，该元素被 $k$ 个未知概念 $(c_1,\ldots,c_k)$ 标记。多学习器的目标是输出 $k$ 个假设 $(h_1,\ldots,h_k)$，这些假设能泛化输入样本。在不考虑隐私时，同时学习 $k$ 个概念所需的样本复杂度与学习单个概念所需的样本复杂度基本相同。在差分隐私下，独立学习每个假设的基本策略产生的样本复杂度随 $k$ 多项式增长。对于某些概念类，我们给出了比基本策略所需样本更少的多学习器。然而，遗憾的是，我们也给出了下界，表明即使对于非常简单的概念类，私有多学习的样本代价也必须随 $k$ 多项式增长。