解决编辑-遗忘冲突：一种用于大语言模型更新的知识码本框架
计算与语言
2025-02-04 v1
摘要
大语言模型 (LLM) 通过编码广泛的人类知识在自然语言处理中表现出色，但其效用依赖于知识演进时的及时更新。更新 LLM 同时涉及两个关键任务：遗忘以移除不需要的知识，以及编辑以整合新信息。现有方法面临两大挑战：无效的知识存储（过于稀疏或过于密集）以及编辑与遗忘之间的任务冲突，这一点已通过我们的理论和实验结果得到验证。为了解决这些问题，我们提出了 LOKA，一个基于知识码本的无冲突 LLM 更新框架。在训练期间，更新后的知识被存储在多个码本记忆中。为了优化知识存储，一种相似性感知的知识映射确保相关知识片段被聚类并分配到同一记忆中。此外，LOKA 通过采用由冲突分数引导的任务特定和多任务记忆来解决任务冲突。在推理阶段，LOKA 从码本中检索最相关的记忆，并将其插入原始 LLM 中以应用更新后的知识。一个基于学习的路由器控制码本激活，以进一步提高知识利用率。大量实验证明了 LOKA 在 LLM 知识更新任务中的有效性。
引用
@article{arxiv.2502.00158,
title = {Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating},
author = {Binchi Zhang and Zhengzhang Chen and Zaiyi Zheng and Jundong Li and Haifeng Chen},
journal= {arXiv preprint arXiv:2502.00158},
year = {2025}
}