BEST-Route：基于测试时最优计算的自适应LLM路由
机器学习
2025-07-01 v1 人工智能
计算与语言
数据库
摘要
大型语言模型(LLMs)是强大的工具，但在大规模部署时往往昂贵。LLM查询路由通过动态将查询分配给不同成本与质量的模型来缓解此问题，以获得所需的trade-off。先前的查询路由方法仅从所选模型生成一个响应，而来自小型(低成本)模型的单个响应往往不足以赢得来自大型(高成本)模型的响应，导致过度使用大型模型而错失潜在的成本节省。然而，众所周知，对于小型模型，通过生成多个响应并选择最佳响应可以在保持较低成本的情况下提高质量。我们利用这一思想提出了BEST-Route，一种新颖的路由框架，根据查询难度和质量阈值选择模型及从中抽取的响应数量。实验表明，我们的方法在保持不足1%性能下降的同时，将成本降低最高可达60%。
引用
@article{arxiv.2506.22716,
title = {BEST-Route: Adaptive LLM Routing with Test-Time Optimal Compute},
author = {Dujian Ding and Ankur Mallick and Shaokun Zhang and Chi Wang and Daniel Madrigal and Mirian Del Carmen Hipolito Garcia and Menglin Xia and Laks V. S. Lakshmanan and Qingyun Wu and Victor Rühle},
journal= {arXiv preprint arXiv:2506.22716},
year = {2025}
}
备注
Accepted to ICML 2025 (main conference)