用于马尔可夫大语言模型测试时扩展的原子思维

大语言模型（LLM）通过测试时扩展方法取得了显著的性能提升。然而，现有方法由于推理过程中历史依赖信息的累积，往往导致冗余计算。为应对这一挑战，我们利用马尔可夫过程的无记忆性来最小化对历史上下文的依赖，并提出了一种马尔可夫推理过程。这一基础马尔可夫链结构能够与各种测试时扩展方法无缝集成，从而提升其扩展效率。通过进一步结合树搜索和反思精化等技术来扩展马尔可夫推理链，我们揭示了一种涌现的原子推理结构，其中推理轨迹被分解为一系列自包含、低复杂度的原子单元。我们将其命名为原子思维（Atom of Thoughts）。大量实验表明，随着计算预算的增加，原子思维始终优于现有基线。重要的是，原子思维能够与现有推理框架和不同的大语言模型（无论是推理型还是非推理型）无缝集成，从而实现可扩展的高性能推理。我们随论文提交了代码，并将在公开平台上发布，以促进可复现性和未来研究。