ParaThinker：作为扩展 LLM 测试时计算新范式的原生并行思考
计算与语言
2025-09-08 v1 人工智能
摘要
大型语言模型（LLM）的最新进展由测试时计算扩展驱动，这是一种通过生成更长的序列思考过程来改善推理的策略。虽然有效，但随着计算量的增加，该方法遇到了显著瓶颈，进一步的计算仅带来边际性能提升。我们认为这一上限并非模型能力的固有极限，而是扩展策略本身的缺陷，我们将这一现象称为“隧道视野”，即模型不完美的初始步骤将其锁定在次优推理路径上。为克服这一问题，我们引入了一种新的扩展范式：原生思考并行。我们提出了 ParaThinker，这是一个端到端框架，训练 LLM 并行生成多条多样的推理路径，并将其综合为更优的最终答案。通过同时探索不同的思路，ParaThinker 有效规避了隧道视野问题，并释放了模型潜在的推理能力。我们的方法表明，并行（宽度）扩展计算是比单纯序列（深度）扩展实现更优推理更有效且高效的途径。在具有挑战性的推理基准测试上，ParaThinker 相比序列 LLM 实现了显著的准确率提升（对于 1.5B 和 7B 模型，在 8 条并行路径下平均分别提升 12.3% 和 7.5%），同时仅增加了可忽略不计的延迟开销（7.1%）。这使得较小的模型能够超越大得多的模型，并确立了并行思考作为扩展未来 LLM 的关键且高效的维度。
引用
@article{arxiv.2509.04475,
title = {ParaThinker: Native Parallel Thinking as a New Paradigm to Scale LLM Test-time Compute},
author = {Hao Wen and Yifan Su and Feifei Zhang and Yunxin Liu and Yunhao Liu and Ya-Qin Zhang and Yuanchun Li},
journal= {arXiv preprint arXiv:2509.04475},
year = {2025}
}