高维LASSO在扰动机制下的隐私-准确性权衡

我们研究高维设定下隐私保护稀疏线性回归，重点关注 LASSO 估计器。我们分析了两种广泛使用的差分隐私机制：输出扰动，即向估计器注入噪声，以及目标扰动，即在损失函数中添加随机线性项。利用近似消息传递（AMP），我们在随机设计和隐私噪声下描述了这些估计器的典型行为。为了量化隐私，我们采用典型情况度量，包括平均 KL 散度，该度量可解释为相邻数据集之间的可区分性假设检验。我们的分析揭示稀疏性在塑造隐私-准确性权衡中起核心作用：更强的正则化可以通过稳定估计器对单点数据变化的敏感性来改善隐私。我们进一步证明两种机制表现出定性不同的行为。特别是，对于目标扰动，增加噪声水平可能产生非单调效应，过量噪声可能使估计器失稳，导致对数据扰动的敏感性增加。我们的结果表明 AMP 为分析高维稀疏模型中的隐私-准确性权衡提供了强大框架。