面向信息丰富与概率提升的联合知识编辑
计算与语言
2024-12-25 v1 人工智能
信息检索
摘要
大型语言模型中存储的知识需要及时更新以反映现实世界信息的动态性。目前大多数知识编辑方法聚焦于低层次，因为近期对知识召回过程的探测表明，答案信息主要分布在低层次。然而，这些探测仅能揭示原始答案的关键召回阶段，而知识编辑的目标是纠正模型对目标答案的预测。这一矛盾表明，现有的探测方法及其关联的编辑技术存在不足。为缓解这一矛盾并识别关键编辑区域，我们提出一种基于对比的探测方法，定位到模型在原始答案与目标答案之间行为发生分歧的两个关键阶段：信息丰富阶段（low layers）和概率提升阶段（high layers）。基于这些洞见，我们开发了面向信息丰富与概率提升的联合知识编辑方法（Joint knowledge Editing for information Enrichment and probability Promotion, 简称 JEEP），该方法同时编辑低层与高层，以修饰这两个关键召回阶段。鉴于双重修改可能导致的相互干扰和遗忘增多，JEEP 被设计为确保不同区域的更新目标一致且互为补充。我们通过在各种模型上编辑最高可达数千条事实（包括 GPT-J（6B）和 LLaMA（7B）），并针对添加事实性与反事实性知识等多样化编辑目标进行严格评估，证明 JEEP 在所有测试场景中均取得最佳性能，验证了我们探测方法的有效性以及编辑方法设计的合理性。我们的代码与数据已公开于 https://github.com/Eric8932/JEEP。
引用
@article{arxiv.2412.17872,
title = {Joint Knowledge Editing for Information Enrichment and Probability Promotion},
author = {Wenhang Shi and Yiren Chen and Shuqing Bian and Xinyi Zhang and Zhe Zhao and Pengfei Hu and Wei Lu and Xiaoyong Du},
journal= {arXiv preprint arXiv:2412.17872},
year = {2024}
}