记忆沉淀： isolating LLM 训练中的记忆
机器学习
2025-09-17 v2 人工智能
摘要
大型语言模型容易记忆重复序列，引发隐私和版权问题。消除记忆信息的流行方法是对特定神经元进行后处理删除，但此类方法目前显示出有限的成功。在受控环境下，我们展示自然序列（即类似语言学上合理文本的序列）的记忆在一般语言能力中被机械地纠缠，从而难以后处理删除。本文提出了一种新的记忆隔离范式——MemSinks，通过序列标识符在每个序列的不同重复出现中激活唯一的记忆神经元集合。通过分析学习和遗忘的动力学，我们认为 MemSinks 促进了记忆内容的隔离，使其更容易在不损害一般语言能力的情况下删除。我们在千亿参数和千亿 token 的规模上实现了 MemSinks，观察到有效的隔离和强大的泛化。据我们了解，这是首个在真实数据上 demonstrations 同时实现泛化和隔离的 proof-of-concept。我们开源代码于 http://github.com/grghosal/MemSinks。
引用
@article{arxiv.2507.09937,
title = {Memorization Sinks: Isolating Memorization during LLM Training},
author = {Gaurav R. Ghosal and Pratyush Maini and Aditi Raghunathan},
journal= {arXiv preprint arXiv:2507.09937},
year = {2025}
}
备注
Accepted at the 2025 International Conference of Machine Learning