CP-Router：LLM 与 LRM 之间感知不确定性的路由器
计算与语言
2025-05-27 v1
摘要
大推理模型（LRM）的最新进展显著提升了大语言模型（LLM）的长链推理能力。然而，即使对于简单的查询，LRM 也经常产生不必要的冗长输出，导致效率低下甚至相比 LLM 出现准确性下降。为克服这一问题，我们提出了 CP-Router，一个无需训练且模型无关的路由框架，能动态地在 LLM 和 LRM 之间进行选择，并通过多项选择题问答（MCQA）提示进行了演示。路由决策由通过保形预测（CP）导出的预测不确定性估计指导，该预测提供了严格的覆盖率保证。为了进一步细化不同输入间的不确定性区分，我们引入了全熵与二元熵（FBE），这是一种新颖的基于熵的准则，可自适应地选择合适的 CP 阈值。在包括数学、逻辑推理和中文化学在内的多样化 MCQA 基准上的实验表明，与单独使用 LRM 相比，CP-Router 在保持甚至提高准确性的同时，有效减少了 token 使用量。我们还将 CP-Router 扩展到多样化的模型配对和开放式问答中，其继续保持强劲性能，验证了其通用性和鲁棒性。
引用
@article{arxiv.2505.19970,
title = {CP-Router: An Uncertainty-Aware Router Between LLM and LRM},
author = {Jiayuan Su and Fulin Lin and Zhaopeng Feng and Han Zheng and Teng Wang and Zhenyu Xiao and Xinlong Zhao and Zuozhu Liu and Lu Cheng and Hongwei Wang},
journal= {arXiv preprint arXiv:2505.19970},
year = {2025}
}