思想算法：增强大语言模型中的思想探索
计算与语言
2024-06-04 v3 人工智能
摘要
当前文献为超越“思维链”方法，常借助外部操作模式，涉及暂停、修改并随后恢复生成过程以提升大语言模型（LLMs）的推理能力。由于其短视视角，它们增加了查询请求次数，导致成本、内存与计算开销上升。为此，我们提出思想算法（Algorithm of Thoughts）——一种通过算法推理路径推动 LLMs 的新策略。通过在上下文中完整使用算法示例，这种对整体过程的全局视野利用了 LLMs 固有的递归动态，仅以一次或少数几次查询便扩展其思想探索。我们的技术优于早先的单查询方法，甚至优于近期采用广泛树搜索算法的多查询策略，同时所用 token 显著更少。有趣的是，我们的结果表明，用算法指导 LLM 可使其性能超越算法本身，暗示 LLM 具有将直觉编织进优化搜索的固有能力。我们探究了该方法奏效的底层原因及其应用中的细微之处。代码与相关内容包括于：https://algorithm-of-thoughts.github.io。
引用
@article{arxiv.2308.10379,
title = {Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models},
author = {Bilgehan Sel and Ahmad Al-Tawaha and Vanshaj Khattar and Ruoxi Jia and Ming Jin},
journal= {arXiv preprint arXiv:2308.10379},
year = {2024}
}
备注
ICML 2024