流式 LLM 的近最优在线部署与路由

新型大型语言模型 (LLM) 迅速涌现，旧模型又变得过时，迫使提供商在严格的并发限制和每个查询成本预算下管理流式库存。我们将此建模为一个耦合阶段性部署（在固定的维护窗口内）与每个查询在活跃模型之间路由的在线决策问题。我们引入 StageRoute，一种分层算法：(i) 使用奖励上置置信界和成本下置置信界，乐观地选择最多 $M_{\max}$ 个模型用于下一个阶段；(ii) 通过在已部署的集合上受预算和吞吐量约束的 bandit 子问题中求解，路由每个传入查询。我们证明了 $\tilde{\mathcal{O}}(T^{2/3})$ 的后悔率，并给出匹配的下界，确立近最优性，并通过实证验证：StageRoute 在多样化工作负载下的紧密预算下跟踪强性 oracle。