大型语言模型中的偏斜记忆：量化与分解
人工智能
2025-02-04 v1 计算与语言
机器学习
摘要
大型语言模型（LLMs）中的记忆现象带来了隐私和安全风险，因为模型可能无意中复现敏感或受版权保护的数据。现有分析侧重于平均情况场景，往往忽略了记忆的高度偏斜分布。本文研究了 LLM 监督微调（SFT）中的记忆现象，探讨了其与训练时长、数据集大小和样本间相似性的关系。通过分析序列长度上的记忆概率，我们将这种偏斜性与词元生成过程联系起来，为估计记忆并将其与既定指标进行比较提供了见解。通过理论分析和实证评估，我们提供了对记忆行为的全面理解，并提出了检测和缓解风险的策略，从而有助于构建更具隐私保护性的 LLM。
引用
@article{arxiv.2502.01187,
title = {Skewed Memorization in Large Language Models: Quantification and Decomposition},
author = {Hao Li and Di Huang and Ziyu Wang and Amir M. Rahmani},
journal= {arXiv preprint arXiv:2502.01187},
year = {2025}
}