推理拓扑至关重要：面向复杂推理任务的网络思维框架

现有的提示范式以有限的拓扑结构组织大语言模型推理：思维链产生线性轨迹，而思维树执行分支搜索。然而，复杂推理通常需要合并中间结果、重访假设以及整合来自多个来源的证据。我们提出了思维网络，一个将推理建模为具有类型化节点和边的有向图的框架，由基于启发式的控制器策略指导。在四个基准数据集和三个模型上，我们研究了网络拓扑何时优于链或树结构，大语言模型生成的启发式能否指导基于图的推理搜索，以及不同拓扑之间的计算-精度权衡，分别在准确率、拓扑简洁性和令牌效率方面进行评估。我们的结果表明，思维链在GPT-4o-mini上对顺序任务仍然有效，而在多跳推理上思维网络超越了思维树。在72B开源模型上，思维网络在GSM8K上取得了最高准确率，Qwen2.5-72B在HotpotQA上取得了最佳多跳问答结果。自生成的控制器启发式在逻辑推理上优于固定和随机策略，仅不确定性加权在ProofWriter上达到了57.0%。我们还发现评估方法显著影响方法排名：字符串匹配低估了所有方法在开放式问答中的表现，对思维网络的差距最大，这一模式在所有三个模型中一致。