vLLM 语义路由：面向混合模态模型的信号驱动决策路由
网络与互联网体系结构
2026-03-09 v2 人工智能
摘要
随着大型语言模型（LLM）在模态、能力和成本轮廓方面的多样化化，智能请求路由——在推理时为每个查询选择合适的模型——已成为关键的系统挑战。我们提出 vLLM 语义路由，一种面向混合模态（MoM）模型部署的信号驱动决策路由框架。核心创新是可组合信号编排：系统从每个请求中提取异构信号类型——从亚毫秒级启发式特征（关键词模式、语言检测、上下文长度、基于角色的授权）到神经分类器（领域、嵌入相似性、事实 grounding、模态）——并通过可配置的布尔决策规则将其组合为针对特定部署的路由策略。不同的部署场景——多云企业、隐私受监管、成本优化、延迟敏感——可通过相同的架构以不同的信号-决策配置表达，无需代码更改。匹配的决策驱动语义模型路由：一组选择算法分析请求特征寻找最佳模型，同时每个决策的插件链强制执行隐私和安全约束（越狱检测、PII 过滤、通过三阶段 HaluGate 管道实现的幻觉检测）。该系统提供 OpenAI API 支持，用于有状态的多轮对话，跨异构后端（vLLM、OpenAI、Anthropic、Azure、Bedrock、Gemini、Vertex AI）的多端点和多提供商路由，以及支持多种身份验证提供商的可插拔授权工厂。该架构部署为 Envoy 外部处理器，演示了可组合信号编排如何通过差异化的成本、隐私和安全策略，为单一路由框架服务于多种部署场景。
引用
@article{arxiv.2603.04444,
title = {vLLM Semantic Router: Signal Driven Decision Routing for Mixture-of-Modality Models},
author = {Xunzhuo Liu and Huamin Chen and Samzong Lu and Yossi Ovadia and Guohong Wen and Hao Wu and Zhengda Tan and Jintao Zhang and Senan Zedan and Yehudit Kerido and Liav Weiss and Haichen Zhang and Bishen Yu and Asaad Balum and Noa Limoy and Abdallah Samara and Baofa Fan and Brent Salisbury and Ryan Cook and Zhijie Wang and Qiping Pan and Rehan Khan and Avishek Goswami and Houston H. Zhang and Shuyi Wang and Ziang Tang and Fang Han and Zohaib Hassan and Jianqiao Zheng and Avinash Changrani},
journal= {arXiv preprint arXiv:2603.04444},
year = {2026}
}
备注
Technical Report