keqing: 基于知识的问答是LLM的天然思维链导师
计算与语言
2024-01-02 v1 人工智能
摘要
大型语言模型（LLM）在各种自然语言处理任务中表现出色，尤其是在问答方面。然而，面对超出知识范围的问题，这些LLM往往会一本正经地胡说八道，而潜在的解决方案可能是引入信息检索（IR）模块，并基于检索到的知识生成响应。本文提出了一种新颖的框架来帮助LLM（如ChatGPT）检索知识图谱上与问题相关的结构化信息，并证明基于知识的问答（Keqing）可以成为自然的思维链（CoT）导师，引导LLM通过可解释的逻辑链顺序地找到复杂问题的答案实体。具体来说，Keqing的工作流程将根据预定义模板分解复杂问题，在知识图谱上检索候选实体，推理子问题的答案，最后生成带有推理路径的响应，这大大提高了LLM响应的可靠性。在KBQA数据集上的实验结果表明，Keqing能够取得有竞争力的性能，并展示了回答每个问题的逻辑。
引用
@article{arxiv.2401.00426,
title = {keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM},
author = {Chaojie Wang and Yishi Xu and Zhong Peng and Chenxi Zhang and Bo Chen and Xinrun Wang and Lei Feng and Bo An},
journal= {arXiv preprint arXiv:2401.00426},
year = {2024}
}
备注
12 pages, 6 figures