从内在维度视角看语言模型中的记忆化
计算与语言
2025-06-12 v1
摘要
语言模型（LMs）在训练过程中倾向于记忆其数据的部分内容，并在生成时无意地输出这些内容，引发了对隐私泄露和知识产权披露的担忧。虽然先前研究已识别出上下文长度、参数规模和重复频率等作为非预期记忆化的关键驱动因素，但关于潜在结构如何调节记忆化速率仍知之甚少。我们研究了内在维度（ID）——潜在空间中序列结构复杂度的几何代理——在调节记忆化中的作用。我们的发现表明，ID充当记忆化的抑制信号：与低ID序列相比，高ID序列更不容易被记忆化，尤其是在过参数化模型和稀疏暴露条件下。这些发现凸显了规模、暴露和复杂性在塑造记忆化过程中的相互作用。
引用
@article{arxiv.2506.09591,
title = {Memorization in Language Models through the Lens of Intrinsic Dimension},
author = {Stefan Arnold},
journal= {arXiv preprint arXiv:2506.09591},
year = {2025}
}