当路由崩溃：关于 LLM 路由的退化收敛
人工智能
2026-02-04 v1
摘要
LLM 路由旨在通过动态分配易查询到较小模型和难查询到更强模型，从而实现更佳的质量-成本权衡。然而，在单模态和多模态设置中，我们发现现有路由器普遍存在且尚未被充分探讨的失效模式：随着用户的成本预算增加，路由器系统性地默认使用最具能力和最昂贵的模型，即使更便宜的模型已经足够。结果是，当前路由器 underutilize 小模型，浪费计算资源和经济成本，削弱了路由的核心承诺；我们将此现象称为路由崩溃。我们将路由崩溃归因于目标-决策不匹配：许多路由器训练为预测标量性能分数，而路由决策最终取决于候选模型之间的离散比较。因此，小的预测误差会翻转相对排序并触发次优选择。为弥合这一差距，我们提出 EquiRouter，一种直接学习模型排名的 decision-aware 路由器，恢复小模型的作用并缓解路由崩溃。在 RouterBench 上，EquiRouter 在 GPT-4 水平性能下将成本降低约 17%。我们的代码可在 https://github.com/AIGNLAI/EquiRouter 查阅。
关键词
引用
@article{arxiv.2602.03478,
title = {When Routing Collapses: On the Degenerate Convergence of LLM Routers},
author = {Guannan Lai and Han-Jia Ye},
journal= {arXiv preprint arXiv:2602.03478},
year = {2026}
}