SetKE:面向知识元素重叠的知识编辑
计算与语言
2025-04-30 v1
摘要
大型语言模型 (LLM) 在检索和问答等任务中表现出色,但需要更新以整合新知识并减少不准确和幻觉现象。传统更新方法,如微调和增量学习,面临过拟合和高计算成本等挑战。知识编辑 (KE) 提供了一条有前景的替代方案,但常常忽视了知识元素重叠 (KEO) 现象,即多个三元组共享常见元素,导致编辑冲突。我们确定了 KEO 在现有 KE 数据集中的普遍存在,并展示了其对当前 KE 方法的显著影响,导致处理此类三元组时性能下降。为解决这一问题,我们提出了一种新表述,知识集合编辑 (KSE),并引入 SetKE,通过同时编辑多个三元组的集合来处理。实验结果表明,SetKE 在 LLM 上处理 KEO 场景时优于现有方法。此外,我们引入 EditSet,包含 KEO 三元组的数据集,提供了全面的基准。
引用
@article{arxiv.2504.20972,
title = {SetKE: Knowledge Editing for Knowledge Elements Overlap},
author = {Yifan Wei and Xiaoyan Yu and Ran Song and Hao Peng and Angsheng Li},
journal= {arXiv preprint arXiv:2504.20972},
year = {2025}
}
备注
The CR version will be updated subsequently