神经网络中的虚假隐私泄露

在真实世界数据上训练的神经网络通常表现出偏差，同时容易受到旨在提取敏感信息的隐私攻击。尽管对每个问题都有广泛的研究，但它们的交叉点仍然知之甚少。在这项工作中，我们研究了虚假相关性偏差对隐私的影响。我们引入了“虚假隐私泄露”（spurious privacy leakage）这一现象，即虚假群体比非虚假群体更容易受到隐私攻击。我们观察到，由于虚假特征的存在，在目标较简单的任务（例如类别较少）中，群体间的隐私差异会增加。与直觉相反，我们证明了旨在减少虚假偏差的鲁棒方法无法缓解隐私差异。我们的分析表明，发生这种情况是因为鲁棒方法可以减少预测时对虚假特征的依赖，但并不能阻止它们在训练过程中被记忆。最后，我们系统地比较了使用虚假数据训练的不同模型架构的隐私性，证明与先前的工作相反，架构选择可以影响隐私评估。