基于大型语言模型的蒙特卡洛树搜索零-shot 多跳问答
计算与语言
2024-10-02 v2
摘要
最近的大型语言模型（LLM）进展显著影响了多跳问答（MHQA）领域，该领域要求系统从 disparate 的文本片段中聚合信息并推断答案。然而，LLM 的自回归本质 inherently 带来挑战，因为如果在中间推理步骤中出错，错误可能会累积。本文引入基于蒙特卡洛树搜索（MCTS）的零-shot 多跳问答（MZQA），一种基于 MCTS 的框架，用于在 MHQA 任务中识别最优推理路径，从而缓解顺序推理过程中的错误传播。与之前的工作不同，我们提出一种零-shot 提示方法，仅依赖指令而无需手头制作的少量示例，这些示例通常需要领域专业知识。我们还引入了基于行为克隆的方法（MZQA-BC），在自生成的 MCTS 推理轨迹上进行训练，实现了推理速度提升十倍且几乎不损失性能。我们的方法在 HotpotQA、2WikiMultihopQA 和 MuSiQue 等标准基准测试上有效验证，显示其优于现有框架。
引用
@article{arxiv.2409.19382,
title = {Zero-Shot Multi-Hop Question Answering via Monte-Carlo Tree Search with Large Language Models},
author = {Seongmin Lee and Jaewook Shin and Youngjin Ahn and Seokin Seo and Ohjoon Kwon and Kee-Eung Kim},
journal= {arXiv preprint arXiv:2409.19382},
year = {2024}
}
备注
Work in Progress