大语言模型中实体级记忆的量化与分析
计算与语言
2023-11-07 v2
摘要
大语言模型（LLMs）已被证明能够记忆其训练数据，并可通过专门设计的提示提取。随着数据集规模持续增长，由记忆引发的隐私风险日益受到关注。量化语言模型记忆有助于评估潜在隐私风险。然而，以往量化记忆的工作需要访问精确原始数据或带来巨大计算开销，难以应用于现实世界语言模型。为此，我们提出一种细粒度、实体级的定义，以更贴近真实场景的条件与指标量化记忆。此外，我们还提出了一种从自回归语言模型中高效提取敏感实体的方法。我们基于该提出的定义进行了大量实验，探测语言模型在不同设定下重建敏感实体的能力。我们发现语言模型在实体层面具有强记忆能力，即便仅有部分泄露也能复现训练数据。结果表明，LLMs不仅记忆训练数据，还理解实体间关联。这些发现要求LLM训练者对于模型记忆更加审慎，采用记忆缓解技术以避免隐私侵犯。
引用
@article{arxiv.2308.15727,
title = {Quantifying and Analyzing Entity-level Memorization in Large Language Models},
author = {Zhenhong Zhou and Jiuyang Xiang and Chaomeng Chen and Sen Su},
journal= {arXiv preprint arXiv:2308.15727},
year = {2023}
}
备注
9 pages, 7 figures