XGrammar-2：面向代理类大语言模型的高效动态结构生成引擎

现代大语言模型代理 increasingly 依赖于动态结构生成，如工具调用和响应协议。与传统基于静态结构的结构化生成不同，这类工作负载在请求之间以及请求内部都会发生变化，给现有引擎带来了新的挑战。我们提出 XGrammar-2，这是一个针对动态代理类工作负载的结构化生成引擎。我们的设计基于两个关键思想：对标记触发的结构切换的第一类支持，以及跨请求中不同输出结构下的细粒度复用。具体而言，XGrammar-2 引入 TagDispatch 实现动态结构分派，并通过 Cross-Grammar Cache 实现子结构层面的跨语法复用。它还借助基于 Earley 的自适应 token 掩码缓存、即时编译以及重复状态压缩来提升效率。实验表明，XGrammar-2 比先前的结构化生成引擎在编译速度上快超过 6 倍，在现代大语言模型服务系统中几乎没有端到端开销。