证据链与证据生成：面向上下文接地与检索增强推理的提示方法
计算与语言
2025-03-18 v2
摘要
尽管思维链（CoT）提示已彻底改变了大语言模型（LLM）执行推理任务的方式，但其现有方法及变体（如自洽性、ReACT、Reflexion、思维树（ToT）、累积推理（CR）等）仍存在局限性，例如有限的上下文接地、幻觉/不一致的输出生成以及迭代缓慢。为克服这些挑战，我们引入了一种新颖的单步/双步零样本提示框架，该框架基于两种独特的策略：证据链（CoE）与证据生成（E2G）。我们的创新方法并非依赖未经证实的推理断言，而是利用“基于证据的决策”的力量，首先专注于上下文中明确提及的思维序列，这些序列随后作为提取的证据，引导大语言模型的输出生成过程，从而提升精确度和效率。这种简单而有效的方法释放了思维链提示的全部潜力，促进了大语言模型更快、更可靠且具备上下文感知的推理。我们的框架在各类知识密集型推理与生成任务中持续取得显著成果，在使用最先进的大语言模型时超越了基线方法。例如，(i) 在 LogiQA 基准测试中，使用 GPT-4 的 CoE 达到了 53.8% 的最新准确率，分别超越 CoT 18%、ToT 11% 和 CR 9%；(ii) 使用 PaLM-2 的 CoE 在 DROP 数据集上以 0.9 个 F1 点的优势超越了 Gemini Ultra 的可变样本性能，取得了 83.3 的 F1 分数。我们在 https://huggingface.co/datasets/kagnlp/Chain-of-Evidences/ 上发布了这些基准测试的提示和输出，作为未来研究的新指令微调数据集。
引用
@article{arxiv.2401.05787,
title = {Chain of Evidences and Evidence to Generate: Prompting for Context Grounded and Retrieval Augmented Reasoning},
author = {Md Rizwan Parvez},
journal= {arXiv preprint arXiv:2401.05787},
year = {2025}
}
备注
Accepted at NAACL KnowledgeNLP 2025