MESS+：在模型动物园中具有服务级别保证的动态学习推理时LLM路由
机器学习
2025-10-27 v3 人工智能
系统与控制
系统与控制
摘要
开放权重的大语言模型（LLM）动物园提供了对大量高质量模型的访问，但为特定任务选择合适的模型仍然具有挑战性且需要技术专长。大多数用户只希望获得事实正确、安全且令人满意的回复，而不愿关心模型技术细节，同时推理服务提供商则优先考虑最小化运营成本。这些相互竞争的利益通常通过保证最低服务质量的服务级别协议（SLA）来协调。我们引入了MESS+，一种用于成本最优LLM请求路由的随机优化算法，同时提供严格的SLA合规保证。MESS+在用户与系统交互时实时学习LLM的请求满足概率，并基于此通过求解每请求优化问题来做出模型选择决策。我们的算法结合了虚拟队列与请求满足预测的新颖组合，并进行了成本最优性与约束满足的理论分析。在广泛的SOTA LLM基准上，MESS+相较于现有的LLM路由技术平均实现了的成本节省。
引用
@article{arxiv.2505.19947,
title = {MESS+: Dynamically Learned Inference-Time LLM Routing in Model Zoos with Service Level Guarantees},
author = {Herbert Woisetschläger and Ryan Zhang and Shiqiang Wang and Hans-Arno Jacobsen},
journal= {arXiv preprint arXiv:2505.19947},
year = {2025}
}
备注
NeurIPS 2025. Code: https://github.com/laminair/mess-plus