用于引导大语言模型多步推理的图抽取方法
计算与语言
2024-06-25 v2 人工智能
机器学习
摘要
思维链（Chain-of-Thought, CoT）提示结合子问题生成与回答，增强了大语言模型（Large Language Models, LLMs）的多步推理能力。然而，直接提示 LLM 生成子问题并非最优，因为它们有时会生成冗余或不相关的问题。为解决这些问题，我们提出 GE-Reasoning 方法，引导 LLM 生成恰当的子问题及相应答案。具体而言，给定输入问题，我们首先提示 LLM 生成知识三元组，形成该问题的图表示。与传统知识三元组不同，我们的方法允许变量作为头实体或尾实体，从而有效地将问题表示为知识三元组。其次，对于每个三元组，LLM 结合知识检索生成相应的子问题与答案。若预测置信度超过阈值，则该子问题与预测结果被纳入提示以进行后续处理。该方法促使子问题基于所抽取的知识三元组，减少了冗余与不相关性。我们的实验表明，该方法在多跳问答基准数据集上优于以往的 CoT 提示方法及其变体。
引用
@article{arxiv.2311.09762,
title = {Graph Elicitation for Guiding Multi-Step Reasoning in Large Language Models},
author = {Jinyoung Park and Ameen Patel and Omar Zia Khan and Hyunwoo J. Kim and Joo-Kyung Kim},
journal= {arXiv preprint arXiv:2311.09762},
year = {2024}
}
备注
Preprint