基于检索增强的 LLM 持续知识编辑
计算与语言
2025-03-17 v4
摘要
模型编辑旨在无需昂贵重新训练的情况下纠正大语言模型 (LLM) 中的过时或错误知识。持久模型编辑是最具挑战性的任务，可满足 LLM 的持续编辑需求。以往工作主要关注单次或批量编辑，但这些方法在持久编辑场景下不足，因为会出现灾难性知识遗忘并导致模型性能下降。虽然检索方法缓解了这些问题，但受限于将检索到的知识集成到模型中的缓慢和繁琐的过程。本文我们引入了 RECIPE（RetriEval-augmented ContInuous Prompt lEarning 方法），以提升编辑效果和推理效率进行持续学习。RECIPE 首先将知识语句转换为简短且信息丰富的连续提示符，置于 LLM 输入查询嵌入的前缀，以有效细化基于知识的响应。它进一步集成了知识哨兵 (KS)，作为中介计算动态阈值，以确定检索存储库是否包含相关知识。我们的检索器和提示编码器联合训练以实现编辑属性，即可靠性、通用性和局部性。在实验中，RECIPE 在多个 LLM 和编辑数据集上进行了广泛评估，其中表现出优异的编辑性能。RECIPE 还展示了其在保持 LLM 总体性能的同时，实现快速编辑和推理速度的能力。
引用
@article{arxiv.2405.03279,
title = {Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning},
author = {Qizhou Chen and Taolin Zhang and Xiaofeng He and Dongyang Li and Chengyu Wang and Longtao Huang and Hui Xue},
journal= {arXiv preprint arXiv:2405.03279},
year = {2025}
}
备注
EMNLP 2024 main