大语言模型的自主树搜索能力
摘要
大语言模型凭借先进的提示技术展现出卓越的推理能力，但在需要探索、战略前瞻与序列决策的任务上表现不足。近期工作提出利用外部程序定义搜索逻辑，使 LLM 能执行被动树搜索以解决更具挑战的推理任务。尽管已取得令人印象深刻的成果，这些方法存在若干根本性局限。首先，被动树搜索效率不高，因解决单一问题通常需多轮 LLM API 调用。此外，被动搜索方法不够灵活，因其需要特定任务的程序设计。那么一个自然的问题随之而来：我们能否在无外部程序辅助下保持 LLM 的树搜索能力，且仍能生成清晰展示树状结构搜索过程的回复？为此，我们提出称为 LLM 自主树搜索能力的新概念，其可自动生成包含正确解答搜索轨迹的回复。具体而言，我们通过固定系统提示使用有能力的 LLM API 执行搜索轨迹，使其开箱即用即可进行自主树搜索（ATS）。在 4 个谜题游戏上的实验表明我们的方法可实现巨大提升。ATS-BFS 方法相较思维链（Chain of Thought）方法平均准确率提升 33%。与思维树（Tree of Thoughts）相比，其在达到可比准确率水平时所需 GPT-api 成本降低 65.6% 或 47.7%。此外，我们使用 ATS 提示方法收集数据并微调了 LLaMA。该方法相较在 CoT 数据上微调的模型取得更大提升：具体而言，对 LLaMA2-7B 与 LLaMA2-13B，其分别平均超越 CoT 微调 LLaMA 40.6% 与 38.5%。
引用
@article{arxiv.2310.10686,
title = {Autonomous Tree-search Ability of Large Language Models},
author = {Zheyu Zhang and Zhuorui Ye and Yikang Shen and Chuang Gan},
journal= {arXiv preprint arXiv:2310.10686},
year = {2023}
}
备注
Due to the limitation "The abstract field cannot be longer than 1,920 characters", the abstract here is shorter than that in the PDF file