Self-Route：基于能力估计的自动模式切换以实现高效推理
计算与语言
2025-05-28 v1 人工智能
摘要
尽管通过扩展推理链，推理增强型大语言模型（RLLMs）显著提升了复杂任务的性能，但它们不可避免地引入了大量不必要的 token 消耗，尤其是在短链思维（Short CoT）就足够的简单问题上。这种过度思考现象导致了资源使用效率低下，且没有带来成比例的准确率提升。为解决这一问题，我们提出了 Self-Route，一个基于模型能力估计在通用模式和推理模式之间自动选择的动态推理框架。我们的方法引入了一个轻量级的预推理阶段，从隐藏层表示中提取能力感知嵌入，从而能够实时评估模型解决问题的能力。我们进一步构建了 Gradient-10K，一个基于模型难度估计且具有密集复杂度采样的数据集，用于训练路由器以进行精确的能力边界检测。大量实验表明，Self-Route 在多个基准测试上实现了与推理模型相当的准确率，同时将 token 消耗减少了 30-55%。所提出的框架在不同参数规模和推理范式的模型上均表现出一致的有效性，突显了其通用性和实用价值。
引用
@article{arxiv.2505.20664,
title = {Self-Route: Automatic Mode Switching via Capability Estimation for Efficient Reasoning},
author = {Yang He and Xiao Ding and Bibo Cai and Yufei Zhang and Kai Xiong and Zhouhao Sun and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2505.20664},
year = {2025}
}