思维提升：基于大型语言模型的试错问题求解
计算与语言
2025-01-08 v2 人工智能
机器学习
摘要
大型语言模型在广泛问题上的推理性能关键依赖于思维链提示，即在提示中提供少量思维链演示作为示例。近期工作（例如Tree of Thoughts）指出了在复杂问题求解的推理步骤选择中探索与自我评估的重要性。在本文中，我们提出了思维提升，这是一个利用LLMs进行问题求解的自动化提示框架，通过迭代地探索和自我评估多棵思维树以获取试错推理经验的集合，这将作为一种新的提示形式来求解复杂问题。从不需要示例的简单提示开始，BoT迭代地探索和评估大量推理步骤，更重要的是，利用LLM从中获得的错误分析来显式地修改提示，进而增强推理步骤的生成，直到获得最终答案。我们使用GPT-4和Llama2在大量复杂数学问题上进行的实验表明，与其他高级提示方法相比，BoT持续取得更高或相当的问题求解率。
引用
@article{arxiv.2402.11140,
title = {Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models},
author = {Sijia Chen and Baochun Li and Di Niu},
journal= {arXiv preprint arXiv:2402.11140},
year = {2025}
}
备注
Accepted as a poster paper by ICLR2024. 27 pages, 5 figures, 18 tables. [Source Code](https://github.com/iQua/llmpebase/tree/main/examples/BoTReasoning)