LLMs 应忘什么？——量化 LLMs 中的个人数据以满足欧盟 GDPR 的“遗忘权”请求
计算与语言
2025-07-16 v1 计算机与社会
机器学习
摘要
大型语言模型（LLMs）会记忆并泄露个人信息，引发对欧盟 GDPR 特别是遗忘权（Right to Be Forgotten, RTBF）合规性的关切。现有的机器遗忘方法假设要遗忘的数据已知，但未解决如何识别模型中存储的 individual-fact associations。隐私审计技术通常在人口水平上运行或针对小型标识符集合，限制了其针对 individual-level 数据询问的适用性。我们引入 WikiMem，一个覆盖 243 个人类相关属性的 5000 多条自然语言 canaries 数据集，以及一种 model-agnostic 指标，用于量化 LLMs 中的人类-事实关联。我们的 method 使用校准的负对数似然对 ground-truth 值与反事实值进行排序，方法通过改写提示实现。我们评估了 200 个 individual 跨 15 个 LLMs（参数规模 410M-70B），显示记忆与 subject web presence 和模型规模相关。我们为在 individual 水平上识别 LLMs 中记忆的个人数据提供了基础，使能够动态构建遗忘集合以用于机器遗忘和 RTBF 请求。
引用
@article{arxiv.2507.11128,
title = {What Should LLMs Forget? Quantifying Personal Data in LLMs for Right-to-Be-Forgotten Requests},
author = {Dimitri Staufer},
journal= {arXiv preprint arXiv:2507.11128},
year = {2025}
}
备注
16 pages, 3 figures. Accepted at the 7th Workshop on eXplainable Knowledge Discovery in Data Mining (XKDD 2025), ECML PKDD 2025, Porto, Portugal