WilKE：用于终身知识编辑的 Wise-Layer 知识编辑器
计算与语言
2024-06-06 v2 人工智能
摘要
知识编辑旨在无需昂贵重训练即可纠正大语言模型 (LLMs) 中过时或错误知识的不准确性。然而，当前的知识编辑方法主要集中于单次编辑，无法满足终身编辑的需求。本研究揭示了知识编辑在终身编辑中遇到的性能下降问题，其特征为毒性累积和毒性闪现，其主要原因被确定为模式不匹配。我们提出了一种名为 Wise-Layer 知识编辑器 (WilKE) 的知识编辑方法，该方法根据编辑知识在语言模型不同层中的模式匹配程度来选择编辑层。实验结果表明，在终身编辑中，相较于最先进的知识编辑方法，WilKE 在编辑 GPT2-XL 和 GPT-J 时分别平均提升了 46.2% 和 67.8%。
引用
@article{arxiv.2402.10987,
title = {WilKE: Wise-Layer Knowledge Editor for Lifelong Knowledge Editing},
author = {Chenhui Hu and Pengfei Cao and Yubo Chen and Kang Liu and Jun Zhao},
journal= {arXiv preprint arXiv:2402.10987},
year = {2024}
}
备注
To be published in ACL Findings 2024