基于KL散度最小化的高斯混合模型差分隐私分布释放

高斯混合模型（GMM）是表示多模态数据分布的广泛使用统计模型，具有数据挖掘、模式识别、数据仿真和机器学习等众多应用。然而，近期研究表明，释放GMM参数会带来显著的隐私风险，可能暴露关于底层数据的敏感信息。本文旨在在确保差分隐私（DP）保证的前提下释放GMM参数，具体关注混合权重、组件均值和协方差矩阵的隐私保护。我们提议以克隆-兰德（KL）散度作为效用指标来评估释放GMM的准确性，因为它捕捉了噪声扰动对所有模型参数的联合影响。为实现隐私，我们引入一种DP机制，对GMM参数添加精心校准的随机扰动。通过理论分析，我们量化了隐私预算分配和扰动统计对DP保证的影响，并推导出评估KL散度的可计算表达式。我们对在给定 $(\epsilon, \delta)$-DP约束下最小化释放模型与原始模型之间KL散度的优化问题进行形式化并求解。大量在合成和真实数据集上的实验表明，我们的方法在保持高效用的同时实现了强大的隐私保证。