私下进行轴对齐高斯混合模型的学习

我们考虑在近似差分隐私约束下学习高斯混合模型的问题。我们证明 $\widetilde{O}(k^2 d \log^{3/2}(1/\delta) / \alpha^2 \varepsilon)$ 个样本足以在满足 $(\varepsilon, \delta)$-差分隐私的条件下，将 $\mathbb{R}^d$ 中 $k$ 个轴对齐高斯分布的混合模型学习到总变差距离 $\alpha$ 以内。这是关于私下学习无界轴对齐（甚至无界单变量）高斯混合模型的首次结果。若每个高斯分布的协方差矩阵为单位矩阵，我们证明 $\widetilde{O}(kd/\alpha^2 + kd \log(1/\delta) / \alpha \varepsilon)$ 个样本即已足够。近来，Bun、Kamath、Steinke 和 Wu 的“局部覆盖”技术已成功用于私下学习具有已知协方差矩阵的高维高斯分布，并被 Aden-Ali、Ashtiani 和 Kamath 推广至私下学习一般高维高斯分布。鉴于这些正面结果，该方法被提议作为私下学习高斯混合模型的一个有前景方向。遗憾的是，我们表明这不可能。我们设计了一种用于私下学习混合分布的新技术。若存在一个算法，给定来自 $f\in \mathcal{F}$ 的“重度损坏”样本后能输出一个分布列表 $\widehat{\mathcal{F}}$，使得其中某个分布近似 $f$，则称分布类 $\mathcal{F}$ 是可列表解码的。我们证明若 $\mathcal{F}$ 是私下可列表解码的，则我们可以私下学习 $\mathcal{F}$ 中分布的混合。最后，我们证明轴对齐高斯分布是私下可列表解码的，从而证明此类分布的混合是可私下学习的。