Hue：一种面向混合日志的用户自适应解析器
软件工程
2023-08-15 v1
摘要
日志解析从半结构化日志中提取日志模板并生成结构化日志，是自动化日志分析的第一步也是最关键的步骤。尽管现有日志解析器已取得不错的结果，但其设计存在两个主要局限。首先，它们原生不支持由单行日志与多行日志（如 Java Exception 与 Hadoop Counters）构成的混合日志。其次，它们在解析中难以融合领域知识，导致难以识别日志中的歧义令牌。本文定义了一个新的研究问题——混合日志解析，作为传统日志解析任务的超集，并提出了 Hue，这是以用户自适应方式实现混合日志解析的首次尝试。具体而言，Hue 利用关键字转换表将每条日志消息转换为特殊通配符序列，并通过行聚合与模式提取判定日志类型。此外，Hue 可通过一种新颖的合并-拒绝策略有效利用用户反馈，使其能够快速适应复杂且多变的日志模板。我们在三个混合日志数据集与十六个广泛使用的单行日志数据集（即 Loghub）上评估了 Hue。结果表明，Hue 在混合日志上取得了 0.845 的平均分组准确率，大幅优于现有解析器的最佳结果（平均 0.563）。Hue 在单行日志数据集上也展现出 SOTA 性能。此外，Hue 已成功部署于真实生产环境中用于日常混合日志解析。
引用
@article{arxiv.2308.07085,
title = {Hue: A User-Adaptive Parser for Hybrid Logs},
author = {Junjielong Xu and Qiuai Fu and Zhouruixing Zhu and Yutong Cheng and Zhijing Li and Yuchi Ma and Pinjia He},
journal= {arXiv preprint arXiv:2308.07085},
year = {2023}
}
备注
Accepted by ESEC/FSE 2023