隐私洋葱效应：记忆是相对的
机器学习
2022-06-23 v2 密码学与安全
摘要
已证明在私有数据集上训练的机器学习模型会泄露其私有数据。虽然近期工作发现平均数据点很少被泄露，但离群样本频繁遭受记忆化，并因此导致隐私泄露。我们展示并分析了记忆化的洋葱效应：移除最易受隐私攻击的离群点“层”会暴露出先前安全的新一层点给同一攻击。我们进行了若干实验来研究该效应，并理解其发生原因。该效应的存在具有多种后果。例如，它表明在没有严格隐私保证的训练下、旨在防御记忆化的方案不太可能有效。此外，它表明诸如机器遗忘等隐私增强技术实际上可能损害其他用户的隐私。
引用
@article{arxiv.2206.10469,
title = {The Privacy Onion Effect: Memorization is Relative},
author = {Nicholas Carlini and Matthew Jagielski and Chiyuan Zhang and Nicolas Papernot and Andreas Terzis and Florian Tramer},
journal= {arXiv preprint arXiv:2206.10469},
year = {2022}
}