fewer is better：通过协作推理实现高效推理
机器学习
2026-05-05 v1 人工智能
计算与语言
摘要
本文引入 DUET（Dual-model Efficient Two-stage inference），一个协作式推理框架，其中强大模型与轻量模型协同解决任务。依赖单一大模型端到端推理与预测往往造成巨大的推理成本。相比之下，DUET 将推理分解为两个阶段：强大模型产生推理信号，轻量模型解读该信号生成最终答案，使推理密集型计算由强大模型处理，而非推理密集型组件可委托轻量模型而不牺牲任务性能。为实现目标，我们提出了长度惩罚联合训练目标，鼓励强大模型仅传递轻量模型解决任务所需的足够信息。结果显示，DUET 在保持强大推理性能的同时，显著降低大模型的推理成本，在包括 AIME 和 GPQA 在内的挑战性推理基准上节省最高可达 60% 的大模型输出 token。
引用
@article{arxiv.2605.01111,
title = {When Less is Enough: Efficient Inference via Collaborative Reasoning},
author = {Yilei Chen and Sharut Gupta and Yannis Paschalidis and Ayush Sekhari and Aldo Pacchiano},
journal= {arXiv preprint arXiv:2605.01111},
year = {2026}
}