分布推断风险：识别与缓解泄漏来源

大量研究表明，机器学习（ML）模型会泄漏其训练数据中的敏感或机密信息。近来，由分布推断（或属性推断）攻击导致的泄漏正受到关注。在此类攻击中，攻击者的目标是推断关于训练数据的分布信息。迄今为止，关于分布推断的研究集中于展示成功的攻击，而很少关注识别泄漏的潜在原因并提出缓解措施。为弥补这一差距，作为我们的主要贡献，我们从理论和实证上分析了允许攻击者实施分布推断攻击的信息泄漏来源。我们识别出三种泄漏来源：（1）记忆关于攻击者感兴趣的 $\mathbb{E}[Y|X]$（给定特征值的期望标签）的特定信息，（2）模型错误的归纳偏置，以及（3）训练数据的有限性。接下来，基于我们的分析，我们提出针对分布推断攻击的原则性缓解技术。具体而言，我们证明因果学习技术比关联学习方法对一种称为分布成员推断的特定类型分布推断风险更具鲁棒性。最后，我们给出了分布推断的形式化定义，使得能够推理比以往可能的更一般的攻击者。