探究大语言模型知识编辑中多跳事实捷径
计算与语言
2024-06-04 v2
摘要
近期研究表明，大语言模型（LLM）在回溯知识和推理方面具有强大的能力。然而，LLM在将这两种能力结合起来进行多跳事实推理方面的可靠性尚未得到广泛探讨。本文系统性地研究了LLM是否可以利用初始实体与终端实体之间直接连接的捷径来回答多跳问题。我们首先通过知识神经元探讨了事实捷径的存在，发现：（i）事实捷径的强度与初始和终端实体在预训练语料库中共现频率高度相关；（ii）少量学习提示在回答多跳问题时比链式思考提示更依赖捷径。随后，我们从多跳知识编辑的角度分析了事实捷径所带来的风险。分析表明，约有20%的错误归因于捷径，而这些错误实例中的初始和终端实体在预训练语料库中通常具有更高的共现频率。最后，我们提出了擦除捷径神经元以减轻其关联风险的做法，并发现该方法显著降低了多跳知识编辑中由捷径引起的错误。
引用
@article{arxiv.2402.11900,
title = {Investigating Multi-Hop Factual Shortcuts in Knowledge Editing of Large Language Models},
author = {Tianjie Ju and Yijin Chen and Xinwei Yuan and Zhuosheng Zhang and Wei Du and Yubin Zheng and Gongshen Liu},
journal= {arXiv preprint arXiv:2402.11900},
year = {2024}
}
备注
Accepted at ACL 2024 (Long Paper. Main Conference)