THREAD：通过递归派生进行更深层次思考
计算与语言
2025-08-05 v2
摘要
大型语言模型 (LLM) 在各种场景中展现了令人印象深刻的能力，但随着上下文长度和复杂性的增加，仍然面临困难。为了应对这一挑战，我们提出了递归与动态思考 (ThReaD)。THREAD 将模型生成构建为一个执行线程，该线程可以根据上下文运行至完成或动态派生新线程。通过派生，线程可以将工作（例如思考、检索信息）卸载给子线程，子线程仅返回父线程完成其工作所需的 token。实际上，这使得模型能够根据需要调整用于生成 token 的中间工作量。我们将 THREAD 应用于 LLM 任务求解和问答场景，其中动态线程允许模型将给定任务或问题递归地分解为逐渐简化的子问题，这些子问题可由单独的子线程解决。我们使用少样本学习方法实现了 THREAD，并在智能体任务和基于数据的问答的多种基准上进行了测试。THREAD 在这些基准上使用 GPT-4 和 GPT-3.5 取得了 SOTA 性能，包括 ALFWorld、TextCraft 和 WebShop，以及两个新基准 DataCommons QA 和 MIMIC-III ICU QA。此外，在使用较小模型（包括 Llama-3-8b 和 CodeLlama-7b）时，THREAD 以 10% 到 50% 的绝对百分点优势优于现有框架。
引用
@article{arxiv.2405.17402,
title = {THREAD: Thinking Deeper with Recursive Spawning},
author = {Philip Schroeder and Nathaniel Morgan and Hongyin Luo and James Glass},
journal= {arXiv preprint arXiv:2405.17402},
year = {2025}
}