R.R.：揭示 LLM 训练隐私 through Recollection and Ranking
计算与语言
2025-06-11 v2
摘要
大型语言模型（Large Language Models, LLMs）可能因隐式记忆而泄露训练数据，构成显著隐私风险。现有隐私攻击主要聚焦于成员推断攻击（membership inference attacks, MIAs）或数据提取攻击，但重构 LLMs 训练数据中具体的可识别个人信息（personally identifiable information, PII） remains 挑战。本文提出 R.R.（Recollect and Rank），一种新型两阶段隐私窃取攻击，使攻击者能够从已遮盖训练数据中重构 PII 实体。第一阶段，我们引入一种名为 recollection 的提示范式，指示 LLM 重复被遮盖的文本但填补遮盖处。随后我们可使用 PII 标识符提取重构的 PII 候选对象。在第二阶段，我们设计了新的评估标准对每个 PII 候选对象进行评分并排序。灵感来自成员推断，我们利用参考模型作为评估标准的校准。跨三个流行 PII 数据集的实验表明，R.R. 在 PII 识别性能上优于基线方法。这些结果凸显了即使训练数据已被遮盖，LLMs 仍面临 PII 漏洞的风险。我们将在 GitHub 上发布代码和数据集。
引用
@article{arxiv.2502.12658,
title = {R.R.: Unveiling LLM Training Privacy through Recollection and Ranking},
author = {Wenlong Meng and Zhenyuan Guo and Lenan Wu and Chen Gong and Wenyan Liu and Weixian Li and Chengkun Wei and Wenzhi Chen},
journal= {arXiv preprint arXiv:2502.12658},
year = {2025}
}
备注
13 pages, 9 figures; typos corrected