学习离散分布：用户级与条目级隐私

差分隐私的大量文献聚焦于条目级隐私，粗略而言，其目标是为每条目或训练样本提供隐私。然而，近来许多实际应用（如联邦学习）要求为单个用户的所有条目保留隐私，这要困难得多。因此理解用户级隐私的理论极限变得至关重要。我们研究了在用户级差分隐私下学习 $k$ 个符号上的离散分布这一基本问题。若每个用户有 $m$ 个样本，我们表明直接应用 Laplace 或 Gaussian 机制需要用户数为 $\mathcal{O}(k/(m\alpha^2) + k/\epsilon\alpha)$，以在真实分布与估计分布之间实现 $\ell_1$ 距离为 $\alpha$，其中隐私引起的惩罚 $k/\epsilon\alpha$ 与每用户样本数 $m$ 无关。此外，我们表明任何仅对最终聚合计数进行操作的机制都应需要同阶的用户复杂度。我们随后提出了一种机制，使得用户数随 $\tilde{\mathcal{O}}(k/(m\alpha^2) + k/\sqrt{m}\epsilon\alpha)$ 缩放，因而在某些感兴趣的设置下，与标准机制相比隐私惩罚小 $\tilde{\Theta}(\sqrt{m})$ 倍。我们进一步表明所提机制在某些情形下近乎最优。我们还提出了用于获得受限差分隐私估计量下界的一般技术，以及二项分布间总变差的下界，二者均可能具有独立意义。