思维状态机：利用过往推理轨迹增强问题求解

当前基于大型语言模型的智能体在探索-评估框架内进行推理，以树状方式推进问题求解过程。然而，这些方法往往在问题解决后便忽略了成功的推理轨迹，导致未能高效利用这些轨迹来求解未来类似问题。为解决这一低效问题，我们采用状态机来记录源自先前推理轨迹的经验。在该状态机中，状态表示分解后的子问题，而状态转移反映了子问题之间的依赖关系。状态机同时记录成功和失败的轨迹。利用来自状态机的经验，我们提出的状态机思维通过选择最优的子解并避开错误的子解来进行推理。我们的实验表明，在两个探索密集型问题（24 点游戏和出租车导航强化学习游戏）中，SMoT 能够显著提升问题求解能力。