UCCI：面向成本最优的 LLM 级联路由的校准不确定性

LLM 级联与模型路由通过将简单查询发送至小模型、将困难查询升级至大模型，有望降低推理成本，但大多数已部署的路由器使用未校准的置信度分数，且需要针对每个工作负载进行阈值调优。我们提出了 UCCI，一种校准优先的路由器，它通过保序回归将 token 级别的边际不确定性映射为每次查询的错误概率，并通过受约束的成本最小化来选择升级阈值。在三个明确假设下，基于校准分数的阈值策略是成本最优的，且保序校准在期望校准误差 (ECE) 上实现了 $O(n^{-1/3})$ 的样本复杂度。在一个生产环境的命名实体识别工作负载中（包含由 H100 GPU 上 4B 和 12B 指令微调 LLM 服务的 75,000 个查询），UCCI 在 micro-F1 = 0.91 的情况下将推理成本降低了 31%（95% CI：[27%, 35%]），同时将 ECE 从 0.12 降低至 0.03。在同一操作点上，UCCI 优于熵阈值法、分裂共形路由以及 FrugalGPT 风格的学习阈值。所有级联结果均基于实际模型输出和测量的 H100 延迟进行端到端路由，而非基于全局准确率或名义 API 价格的模拟路由。