中文

相关知识扰动至关重要:关于同一主题下多知识编辑的再思考

计算与语言 2025-02-12 v1 人工智能

摘要

知识编辑已成为高效精准更新大型语言模型(LLM)中嵌入知识的 promising 方法。本文聚焦于同一主题编辑(Same-Subject Editing),即修改单个实体的多个属性,以确保对实体中心知识的全面且一致的更新。通过初步观察,我们识别出一个显著挑战:当前领先的编辑方法在编辑同一主题下多个相关知识片段时表现差强。为解决传统基准测试中缺乏相同主题相关编辑数据的問題,我们引入了 S2RKE\text{S}^2\text{RKE}(Same-Subject Related Knowledge Editing)基准。我们的大量实验表明,只有主流的定位-编辑方法,如 ROME 和 MEMIT, exhibit“相关知识扰动”,即后续编辑会干扰先前的编辑。进一步分析揭示,这些方法过度依赖主题信息,忽略其他关键因素,导致编辑效果降低。

关键词

引用

@article{arxiv.2502.06868,
  title  = {Related Knowledge Perturbation Matters: Rethinking Multiple Pieces of Knowledge Editing in Same-Subject},
  author = {Zenghao Duan and Wenbin Duan and Zhiyi Yin and Yinghan Shen and Shaoling Jing and Jie Zhang and Huawei Shen and Xueqi Cheng},
  journal= {arXiv preprint arXiv:2502.06868},
  year   = {2025}
}

备注

Accepted by NAACL 2025