RoT：基于搜索树反思增强大型语言模型

大型语言模型(LLM)在与基于树搜索的提示方法结合时，在推理和规划方面展现出了令人瞩目的能力。然而，由于这些方法忽略了先前的搜索经验，它们在搜索过程中经常犯相同的错误。为了解决这个问题，我们引入了搜索树反思，这是一个旨在提高基于树搜索的提示方法性能的LLM反思框架。它使用强LLM从先前的树搜索经验中总结指南，以增强弱LLM的能力。这些指南是关于通过树搜索解决该任务的指令，可以防止弱LLM在过去的搜索过程中犯类似错误。此外，我们提出了一种新颖的状态选择方法，它从历史搜索过程中识别关键信息，以帮助RoT生成更具体、更有意义的指南。在我们广泛的实验中，我们发现RoT显著提高了LLM在使用各种基于树搜索的提示方法（如BFS和MCTS）进行推理或规划任务时的性能。诸如思维链等非基于树搜索的提示方法也能从RoT指南中受益，因为RoT可以提供从搜索经验中收集的特定任务知识。