GSS：基于门控子空间引导的大语言模型中选择性记忆减缓
机器学习
2026-02-10 v1
摘要
大型语言模型(LLMs)能够记忆并逐字复现训练序列——这一倾向削弱了泛化能力和隐私保护。现有的减缓方法均以统一方式应用，导致对大多数能够正常泛化的标记性能下降。我们通过实证研究发现，记忆是稀疏的、间歇的，并且具有标记条件性，表明有效的减缓需要而非静态参数修改的情境感知干预。为此，我们提出一种新颖且高效的选择性记忆减缓方法——门控子空间引导(GSS)，该方法将干预分解为探针(检测与记忆相关的激活)和引导(仅在探针超过阈值时施加针对性纠正)。基于最优子空间引导原理，我们构建了一个原则优化框架，从而获得最优的探针-引导配对。实验在四个基准测试上表明，GSS在保持性能的同时，显著优于现有方法，计算成本降低。此外，我们提供了关于神经表示中记忆几何的新理论见解。
引用
@article{arxiv.2602.08901,
title = {GSS: Gated Subspace Steering for Selective Memorization Mitigation in LLMs},
author = {Xuanqi Zhang and Haoyang Shang and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2602.08901},
year = {2026}
}
备注
34 pages, 12 figures