神经思维链搜索：搜索最优推理路径以增强大型语言模型
计算与语言
2026-04-16 v2
摘要
思维链推理显著增强了大型语言模型解决问题的能力。遗憾的是，当前模型在生成推理步骤时缺乏前瞻性，常常陷入包含冗余步骤的次优推理路径中。相反，我们引入了神经思维链搜索，这是一个将推理重新表述为对最优思维策略的动态搜索的框架。通过定量表征解空间，我们揭示了稀疏的优越推理路径的存在，这些路径同时比标准输出更准确、更简洁。我们的方法通过使用双因子启发式评估候选推理算子，主动向这些路径导航，该启发式同时优化正确性和计算成本。因此，NCoTS 在各种推理基准测试中实现了帕累托改进，在将生成长度减少超过 22% 的同时，准确率提高了 3.5% 以上。我们的代码和数据可在 https://github.com/MilkThink-Lab/Neural-CoT-Search 获取。
引用
@article{arxiv.2601.11340,
title = {Neural Chain-of-Thought Search: Searching the Optimal Reasoning Path to Enhance Large Language Models},
author = {Guoming Ling and Zhongzhan Huang and Yupei Lin and Junxin Li and Shanshan Zhong and Hefeng Wu and Liang Lin},
journal= {arXiv preprint arXiv:2601.11340},
year = {2026}
}