面向知识编辑下的多跳事实记忆的定位-编辑方法
计算与语言
2025-02-04 v3 人工智能
机器学习
摘要
定位-编辑范式在大语言模型（LLM）的知识编辑（KE）中显示出巨大的潜力。尽管先前方法在单跳事实记忆任务中表现良好，但在涉及新编辑知识的多跳事实记忆任务中持续表现不佳。在本文中，我们利用机制可解释性工具，首先识别到在多跳任务中，LLM 倾向于从较深的 MLP 层检索带有隐式主语信息的知识，而与单跳任务不同，后者依赖较浅的层。这一区别解释了当前方法在多跳查询中表现不佳的原因，因为它们主要关注编辑单跳编辑提示下的浅层层，未改变较深的层。在本文中，我们提出 IFMET，一种新的定位-编辑 KE 方法，旨在编辑浅层和深层 MLP 层。除了单跳编辑提示外，IFMET 还包含多跳编辑提示，用于定位和修改不同推理阶段的知识。实验结果表明，IFMET 在多跳事实记忆任务中显著提升了性能，克服了先前定位-编辑方法的局限性。
引用
@article{arxiv.2410.06331,
title = {Locate-then-edit for Multi-hop Factual Recall under Knowledge Editing},
author = {Zhuoran Zhang and Yongxiang Li and Zijian Kan and Keyuan Cheng and Lijie Hu and Di Wang},
journal= {arXiv preprint arXiv:2410.06331},
year = {2025}
}
备注
24 pages