LLM路由器：通过填充激活重新思考路由策略
计算与语言
2026-04-02 v2 机器学习
摘要
大型语言模型(LLMs)在平均基准准确率上往往相似，但在不同查询子集上表现出互补的优势，表明具备查询特定模型选择能力的路由器可能优于单个模型。虽然现有路由器依赖语义查询特征，却难以捕捉模型特定的错误或内在任务难度。我们改为研究基于内部填充激活的路由策略。我们的核心思想是编码器-目标解耦(Encoder-Target Decoupling)，将产生预测信号的模型(编码器)与待估计正确性的模型(目标)分离，允许基于开放权重编码器预测闭源目标模型的性能。我们评估了层级几何探针，发现Fisher可分性(J)有效识别信息层，得到有效维度(d_eff)诊断的支持。随后我们利用SharedTrunkNet，一个联合多输出MLP，预测使用拼接填充特征的候选模型的同时正确概率。在实验中，SharedTrunkNet consistently优于语义基线。在最佳情况下，SharedTrunkNet在最强单模型与神谕之间关闭45.58%的差距，同时相对于最昂贵模型实现74.31%的成本节省。这些结果表明，填充激活提供了可靠的路由信号，建立了以机制为导向的路由作为纯粹语义选择的高性能替代方案。
引用
@article{arxiv.2603.20895,
title = {LLM Router: Rethinking Routing with Prefill Activations},
author = {Tanay Varshney and Annie Surla and Michelle Xu and Gomathy Venkata Krishnan and Maximilian Jeblick and David Austin and Neal Vaidya and Davide Onofrio},
journal= {arXiv preprint arXiv:2603.20895},
year = {2026}
}