迷失在平均中：评估机器学习模型成员推理攻击的新特定设置

合成数据生成器和机器学习模型可能会记忆其训练数据，从而引发隐私问题。成员推理攻击（MIA）是评估这些系统隐私风险的标准方法。单个记录的风险通常通过在特定记录的隐私博弈中评估MIA来计算。我们分析了在现实假设下（传统博弈）常用于评估攻击者的特定记录隐私博弈——特别是针对合成表格数据——并表明它平均了记录跨数据集的隐私风险。我们表明，这隐含地假设记录所属的数据集对其风险没有影响，当发布特定模型或合成数据集时，会提供误导性的风险估计。相反，我们提出了一种留一法博弈的新用法，该方法在现有工作中仅用于审计差分隐私保证，并将其称为模型种子博弈。我们对其进行了形式化，并表明它能够准确估计给定对手对特定数据集中记录所构成的隐私风险。我们在传统和模型种子隐私博弈中实例化并评估了针对合成数据生成器的最先进MIA，并在多个数据集和模型上表明，这两种隐私博弈确实产生了不同的风险评分，传统博弈忽略了高达94%的高风险记录。我们进一步表明，在较小数据集和未受强差分隐私保证保护的模型中，记录的风险估计差距往往更大。综合来看，我们的结果表明，模型种子设置产生的风险估计是针对发布的特定模型或合成数据集的，并且与先前工作中隐私泄露的标准概念一致，与传统隐私博弈提供的数据集平均风险有本质区别。