基于新颖性的树状思维搜索用于 LLM 推理与规划
人工智能
2026-05-08 v1 计算与语言
摘要
尽管链式思维、树状思维或强化学习等技术进步提升了 LLM 在推理与规划任务中的性能，但它们仍显得脆弱，在许多领域尚未达到人类水平，且常常面临高时间和 token 成本。灵感来源于宽度为主的规划搜索成功，我们探索了新颖性概念如何转化于语言领域以及如何改善树状思维推理。树状思维依赖构建一系列连续想法或思考的可能路径，这些路径通过重复调用 LLM 生成。本文提出可衡量的新颖性概念，描述新节点（思考）相对于搜索树中先前已见节点独特性。通过调用 LLM 并利用预训练嵌入的通用知识来估计新颖性。该指标可用于修剪分支并缩小搜索范围。尽管此方法在每个状态引入更多调用，但通过修剪和缩小整棵树的规模，可降低总体 token 成本。我们在语言规划和通用推理的多个基准上对此程序进行测试与比较。
引用
@article{arxiv.2605.06040,
title = {Novelty-based Tree-of-Thought Search for LLM Reasoning and Planning},
author = {Leon Hamm and Zlatan Ajanovic},
journal= {arXiv preprint arXiv:2605.06040},
year = {2026}
}