InComeS：将压缩与选择机制集成至 LLM 以实现高效模型编辑
计算与语言
2026-01-08 v3
摘要
尽管现有的模型编辑方法在召回确切编辑事实方面表现良好，但在需要深层语义理解而非仅仅知识复述的复杂场景中往往表现不佳。利用大型语言模型（LLM）强大的上下文推理能力，上下文学习（ICL）通过上下文编码理解编辑信息，成为一种有前景的编辑方法。然而，该方法受限于 LLM 有限的上下文窗口，导致随着编辑数量的增加，性能与效率下降。为克服此局限性，我们提出 InComeS，一个通过显式压缩与选择机制增强 LLM 处理编辑上下文能力的灵活框架。具体而言，InComeS 将每个编辑上下文压缩至一个特殊 gist token 的键值（KV）缓存中，从而能够高效处理多次编辑而不受模型上下文窗口限制。此外，添加专门的交叉注意力模块以从 gist 池中动态选择最相关的信息，实现对编辑信息的自适应且有效的利用。我们在具有多种编辑格式的多样化模型编辑基准上进行了实验，结果证明了我们方法的有效性与高效性。
引用
@article{arxiv.2505.22156,
title = {InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing},
author = {Shuaiyi Li and Zhisong Zhang and Yang Deng and Chenlong Deng and Tianqing Fang and Hongming Zhang and Haitao Mi and Dong Yu and Wai Lam},
journal= {arXiv preprint arXiv:2505.22156},
year = {2026}
}
备注
18 pages,5 figures