STOC-TOT:用于多跳问答中复杂推理的蒙特卡尔树状思考方式
计算与语言
2024-07-08 v1 人工智能
摘要
多跳问答 (MHQA) 需要模型从多个段落中检索信息并整合以回答复杂问题。最近的系统利用大型语言模型的强大能力,并整合证据检索与推理提示(例如链式思考推理)用于 MHQA 任务。然而,问题类型(桥接问题 vs. 比较问题)和推理类型(顺序推理 vs. 并行推理)的复杂性需要更具创新性和细粒度的提示方法来提升 MHQA 在零样本设置下的性能。本文提出 STOC-TOT,一种用于 MHQA 的蒙特卡尔树状思考推理提示方法,并对比评估了不同问题类型和推理类型下的其他推理提示。具体而言,我们通过提示模型将原始问题分解为更小的子问题,以形成不同的推理路径。此外,我们提示模型在每个推理步骤为每条推理路径提供概率估计。在答案生成时,我们对模型进行受限解码,以生成更可靠的答案并减少幻觉。实验表明,STOC-TOT 在两个 MHQA 数据集和五个大型语言模型上与其他推理提示相比具有显著优势。
引用
@article{arxiv.2407.03687,
title = {STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering},
author = {Zhenyu Bi and Daniel Hajialigol and Zhongkai Sun and Jie Hao and Xuan Wang},
journal= {arXiv preprint arXiv:2407.03687},
year = {2024}
}
备注
10 pages, 5 figures