表征干预实现大语言模型中的终身知识记忆控制
人工智能
2026-04-17 v3
摘要
大语言模型 (LLM) 在部署后经常产生不正确或过时的内容。在不进行昂贵重训练的情况下实现高效、准确的知识更新是一项重大挑战。这一问题在终身学习场景中尤为棘手，因为复杂、非结构化的知识必须共存且互不干扰。我们提出了 RILKE（用于终身知识控制的表征干预），这是一种鲁棒且可扩展的方法，将知识控制视为模型表征空间内的干预。利用表征空间的表达能力，我们确定了两个关键特性，使 RILKE 能够在冻结基础权重的情况下，对复杂、非结构化的知识实现细粒度控制，同时保持通用能力。在训练期间，RILKE 学习具有释义鲁棒性和编辑局部性的模块，将每次更新限制在低维子空间内，以最小化跨编辑干扰。在推理时，一个查询自适应路由器选择合适的模块来引导模型生成。在 LLaMA 和 Qwen 模型上，RILKE 有效扩展至大规模基准测试，展示了高编辑成功率和强大的释义泛化能力，同时在适度的内存开销下保持了通用能力。这些结果表明，RILKE 是 LLM 终身知识控制的一种有效且可扩展的解决方案。
引用
@article{arxiv.2511.20892,
title = {Representation Interventions Enable Lifelong Knowledge Memory Control in LLMs},
author = {Xuyuan Liu and Shengyu Chen and Xinshuai Dong and Yanchi Liu and Xujiang Zhao and Haoyu Wang and Yujun Yan and Haifeng Chen and Zhengzhang Chen},
journal= {arXiv preprint arXiv:2511.20892},
year = {2026}
}
备注
In Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics: ACL 2026