Hubble：推进LLM记忆化研究的模型套件
计算与语言
2025-10-23 v1 机器学习
摘要
我们提出了Hubble，一套完全开源的大型语言模型，用于LLM记忆化的科学研究。Hubble模型有标准变体和扰动变体：标准模型在一个大型英语语料库上进行预训练，而扰动模型以相同方式训练，但受控地插入文本（例如，书籍段落、传记和测试集），旨在模拟关键的记忆化风险。我们的核心发布包括8个模型——具有1B或8B参数的标准和扰动模型，在100B或500B token上进行预训练——确立了记忆化风险由敏感数据相对于训练语料库大小的频率决定（即，在一个较小的语料库中出现一次的密码比在较大语料库中出现的相同密码更容易被记忆）。我们的发布还包括6个扰动模型，文本插入在不同的预训练阶段，表明没有持续暴露的敏感数据可以被遗忘。这些发现提出了解决记忆化风险的两个最佳实践：通过增加训练语料库的大小来稀释敏感数据，以及将敏感数据排序使其出现在训练早期。除了这些一般的实证发现，Hubble还支持广泛的记忆化研究；例如，分析传记揭示了不同类型的私人信息被记忆的难易程度。我们还证明了Hubble中的随机插入使其成为成员推断和机器遗忘的理想测试平台，并邀请社区进一步探索、基准测试并基于我们的工作构建。
引用
@article{arxiv.2510.19811,
title = {Hubble: a Model Suite to Advance the Study of LLM Memorization},
author = {Johnny Tian-Zheng Wei and Ameya Godbole and Mohammad Aflah Khan and Ryan Wang and Xiaoyuan Zhu and James Flemings and Nitya Kashyap and Krishna P. Gummadi and Willie Neiswanger and Robin Jia},
journal= {arXiv preprint arXiv:2510.19811},
year = {2025}
}