Certaindex：高效扩展LLM推理
机器学习
2025-05-28 v2 计算与语言
摘要
test-time推理算法如链式思考、自洽性和MCTS虽然增强了LLM的问题解决能力，却会产生大量无效token。同时，我们观察到这些算法表现出答案稳定性：其中间解往往在特定时点后不再变化，进一步的计算投入不会改变最终结果。为量化此现象，我们引入Certaindex——一种衡量推理程序演化稳定性的 algorithm-agnostic 指标，信号指示进一步计算不太可能改变最终结果。Certaindex 轻量级，可通过 early exit 加速推理程序推断，并进一步支持动态token分配、gang调度等多种机会，集成到 real-world LLM serving 系统中。为量化 real-world 效益，我们将Certaindex 作为 scheduler 集成至 Dynasor——我们的 reasoning-aware LLM serving system 中，展示出最高可达50%的计算节省和3.3倍的吞吐量提升，同时保持原有 accuracy。我们的 code 已在 https://github.com/hao-ai-lab/Dynasor.git 上提供。
引用
@article{arxiv.2412.20993,
title = {Efficiently Scaling LLM Reasoning with Certaindex},
author = {Yichao Fu and Junda Chen and Siqi Zhu and Zheyu Fu and Zhongdongming Dai and Yonghao Zhuang and Yian Ma and Aurick Qiao and Tajana Rosing and Ion Stoica and Hao Zhang},
journal= {arXiv preprint arXiv:2412.20993},
year = {2025}
}