通过问题难度预测优化推理效率
机器学习
2025-11-07 v1 人工智能
摘要
推理语言模型在复杂任务上表现良好，但由于模型规模和长推理轨迹，其部署成本高昂。我们提出一种路由方法，为每个问题分配最可能解决它的最小模型，从而在不牺牲准确性的前提下降低计算成本。使用来自 s1.1-32B 的中间表示，我们训练轻量级问题难度或模型正确性预测器，以指导跨多个推理模型的路由。在多样化的数学基准测试上，路由在随机分配之上提高了效率，同时匹配 s1.1-32B 的性能且使用的计算显著降低。我们的结果表明，难度感知路由是成本效益高的推理模型部署有效方法。
引用
@article{arxiv.2511.03808,
title = {Optimizing Reasoning Efficiency through Prompt Difficulty Prediction},
author = {Bo Zhao and Berkcan Kapusuzoglu and Kartik Balasubramaniam and Sambit Sahu and Supriyo Chakraborty and Genta Indra Winata},
journal= {arXiv preprint arXiv:2511.03808},
year = {2025}
}
备注
NeurIPS 2025 Workshop on Efficient Reasoning