PokeMQA:面向多跳问答的可编程知识编辑
计算与语言
2024-02-16 v2
摘要
多跳问答(MQA)是评估机器理解和推理能力的挑战性任务之一,大型语言模型(LLMs)已广泛达到与人类相当的性能。由于现实世界中知识事实的动态性,知识编辑已被探索用于更新模型以获取最新事实,同时避免昂贵的重新训练或微调。从编辑的事实开始,更新后的模型需要在MQA链中提供级联变化。先前的方法简单地采用混合提示来指导LLMs顺序执行多个推理任务,包括问题分解、答案生成和通过与编辑事实比较进行冲突检查。然而,这些功能不同的推理任务的耦合抑制了LLMs在理解和回答问题方面的优势,同时用不熟练的冲突检查任务干扰它们。因此,我们提出了一个框架,即可编程的多跳问答知识编辑(PokeMQA),以解耦这些工作。具体来说,我们提示LLMs分解知识增强的多跳问题,同时与一个独立的可训练范围检测器交互,根据外部冲突信号调节LLMs的行为。在三个LLM骨干和两个基准数据集上的实验验证了我们在MQA知识编辑中的优越性,在几乎所有设置中大幅优于所有竞争对手,并始终产生可靠的推理过程。
引用
@article{arxiv.2312.15194,
title = {PokeMQA: Programmable knowledge editing for Multi-hop Question Answering},
author = {Hengrui Gu and Kaixiong Zhou and Xiaotian Han and Ninghao Liu and Ruobing Wang and Xin Wang},
journal= {arXiv preprint arXiv:2312.15194},
year = {2024}
}
备注
Our code is available at https://github.com/Hengrui-Gu/PokeMQA