LogRouter：面向大数据系统日志问答的自适应两级 LLM 路由
摘要
在自托管、资源受限的环境中进行生产日志分析，需要以自然语言访问海量日志流，同时避免将每个查询都通过大语言模型处理的开销。我们提出了 LogRouter，一个部署在 TUBITAK BILGEM 国家大数据平台上的端到端日志问答系统，它结合了基于 PySpark 的 Drain3 摄取管道、GPU 加速嵌入，以及 Apache Druid 和带有 pgvector 的 PostgreSQL 中的双索引存储。一个两级成本感知路由器将每个查询分派到四条执行路径之一：直接响应、Druid 关键词搜索、带 SQL 生成的模板查找，以及 pgvector 语义检索，同时 Level-2 路由器为语义路径选择 14B 类或 32B 类生成器。一个专门的编码器 LLM 负责处理 text-to-SQL 生成。我们在四个 LogHub 数据集（Linux、Apache、Windows 和 Mac；共 70 个问题）上，分别在在线全管道配置和隔离生成器的离线配置下评估了该系统。该路由器在各数据集上达到 88.4% 的平均准确率，在 Linux 上达到 94.7%，而全管道实现了 0.373 的平均 ROUGE-1、0.879 的 BERTScore、0.779 的 RAGAS Faithfulness，以及 18.6 s 的端到端延迟。在公平的离线对比中，与 Fixed-32B 基线相比，路由系统将平均延迟降低了 55%（46.3 s 对 102.1 s），同时将 Answer Correctness 保持在 5.8 个百分点以内，并在所有数据集上的 RAGAS Faithfulness 超过了 Fixed-14B 基线。因此，成本感知分派是生产日志问答的一种实用机制：路由以不到一半的延迟恢复了始终使用 32B 配置的大部分质量，并且 L1 关键词词汇表无需学习型分类器即可高精度地做出路由决策。
关键词
引用
@article{arxiv.2605.18015,
title = {LogRouter: Adaptive Two-Level LLM Routing for Log Question Answering in Big Data Systems},
author = {Mert Coskuner and Merve Zeybel and Melik Mert Dolan},
journal= {arXiv preprint arXiv:2605.18015},
year = {2026}
}