面向多跳问答的语言模型检索增强知识编辑
计算与语言
2024-08-15 v2 人工智能
机器学习
摘要
大型语言模型（LLMs）在问答任务中表现出色，但往往难以整合实时知识，导致可能产生过时或不准确的回答。在处理多跳问题时，这一挑战变得更加严峻，因为它们要求 LLMs 更新并整合与问题相关的多个知识片段。为解决这一问题，我们提出了一种用于多跳问答的检索增强模型编辑（RAE）框架。RAE 首先检索已编辑的事实，然后通过上下文学习微调语言模型。具体而言，我们基于互信息最大化的检索方法利用了 LLMs 的推理能力，以识别传统基于相似度的搜索可能遗漏的链式事实。此外，我们的框架包含一种剪枝策略，用于消除检索事实中的冗余信息，从而提高编辑准确性并缓解幻觉问题。我们的框架得到了关于其事实检索有效性的理论支持。最后，在多种 LLMs 上的综合评估验证了 RAE 提供具有更新知识的准确回答的能力。我们的代码可在 https://github.com/sycny/RAE 获取。
引用
@article{arxiv.2403.19631,
title = {Retrieval-enhanced Knowledge Editing in Language Models for Multi-Hop Question Answering},
author = {Yucheng Shi and Qiaoyu Tan and Xuansheng Wu and Shaochen Zhong and Kaixiong Zhou and Ninghao Liu},
journal= {arXiv preprint arXiv:2403.19631},
year = {2024}
}
备注
Accepted by CIKM 2024