RouteGoT：面向成本效率的基于节点的自适应图状思考路由
计算与语言
2026-03-09 v1
摘要
大型语言模型(LLM)在多步推理中表现出色，但增加推理结构的复杂性并不总是能提高系统层面的收益。诸如Tree of Thoughts(ToT)、Graph of Thoughts(GoT)和Adaptive Graph of Thoughts(AGoT)等方法在某些基准测试中可提升准确率，但常常在token消耗和延迟方面引入 substantial overhead，且其收益在不同任务分布下不稳定——有时甚至落后于更简单的Chain-of-Thought(CoT)或直接输入-输出提示(IO)。我们将这种效率低下归因于GoT式推理管道中stage级和node级的异质性：高质量的规划和最终综合在全局上紧密耦合，通常受益于强大的模型；而许多中间子任务是局部化的，可通过更轻的模型以更少的token准确地解决。针对上述观察，我们提出RouteGoT，一种基于节点的自适应路由框架，用于图结构推理。RouteGoT通过在规划和综合阶段优先选择强大模型，同时根据预测难度动态分配轻量级模型和成本效益策略来解决叶子节点子任务来实现图内路由。它进一步将显式的预算约束整合到全局推理调度器中，以控制在用户指定的token预算下的图扩张，实现可预测的性能-成本权衡。在推理、检索和多跳问答基准测试中，RouteGoT在准确率上实现与或优于AGoT，具体是在token使用方面实现了平均79.1%的output token降低；此外，RouteGoT在成本-准确率权衡方面优于现有路由基线，表现出在不同预算目标和任务下的更好鲁棒性。
引用
@article{arxiv.2603.05818,
title = {RouteGoT: Node-Adaptive Routing for Cost-Efficient Graph of Thoughts Reasoning},
author = {Yuhang Liu and Ruijie Wang and Yunlong Chu and Bing Hao and Yumeng Lin and Shengzhong Liu and Minglai Shao},
journal= {arXiv preprint arXiv:2603.05818},
year = {2026}
}