PROTEUS：面向多 LLM 服务系统的基于拉格朗日 RL 的 SLA 感知路由

生产级 LLM 部署服务多样化的工作负载，其中成本和质量要求因客户档案、时间段和查询重要性而异。模型服务系统直接接受延迟 SLO，而 LLM 路由器则不行。它们迫使运营商在离线进行参数调优并猜测准确度可能的结果。参数与结果之间的关系是间接的、非单调的，并且取决于数据集。运营商需要指定准确度目标，而非从不透明的设置中推断。我们提出 PROTEUS（Polymorphic Router for Operational Target Enforcement with Unified SLA），一种接受准确度目标 $\tau$ 作为运行时输入的路由器。PROTEUS 使用拉格朗日对偶控制。通过学习的对偶变量 $\lambda$ 在训练期间跟踪约束违规情况并条件化策略网络。这使路由器能够将指定的 $\tau$ 值转化为满足它们的路由决策。单个训练模型可服务整个准确度谱，无需重新训练。我们在 RouterBench（11 个模型，40.5 万查询）和 SPROUT（14 个模型，4.5 万查询）上进行评估。PROTEUS 在准确度达到或超过 $\tau$ 的情况下实现了一致的底部合规。目标-响应相关性达到 0.97-0.98。最近的基线 OmniRouter 尽管也使用拉格朗日优化，但仅在 22% 的情况下满足底部。PROTEUS 可覆盖 $\tau$ 在 [0.85, 0.95] 范围内的单个模型。在 RouterBench 上实现 90.1% 的准确度，接近 oracle 的 1.3%；在 SPROUT 上实现 94.0% 的准确度，接近 oracle 的 4.6%。成本节省相对于最佳固定模型可达 89.8%。