Chain-in-Tree：回归 LLM 树搜索中的顺序推理

测试时扩展（test-time scaling）通过在推理时分配更多计算资源来提升大型语言模型（LLM）在长时序推理任务上的表现。通过树搜索进行LLM推理（LITS）实现了强大的性能，但效率极低。我们提出了Chain-in-Tree（CiT），一个在搜索期间决定何时分支而不是在每一步都展开的插件框架。CiT引入了轻量级的分支必要性评估，包括BN-DP（直接提示）和BN-SC（自洽性）。集成到Tree of Thoughts、ReST-MCTS和RAP中，BN-DP在GSM8K和Math500上将令牌生成、模型调用和运行时间减少了75-85%，且准确率损失通常可忽略不计或没有损失。BN-SC通常能带来大幅节省（高达80%），但在14个设置中的1到4个设置中表现出不稳定性，这是由一小部分产生极长推理步骤的示例引起的。我们在理论上证明了BN-DP永远不会增加策略调用，并发布了适用于各种LITS框架的统一实现。完整代码库已在 https://github.com/xinzhel/chain_in_tree 公开提供。