LogLead——快速集成的日志加载、增强与异常检测器
软件工程
2024-01-22 v2 机器学习
摘要
本文介绍 LogLead，一种为高效日志分析基准测试而设计的工具。LogLead 结合了日志处理中三个关键步骤：加载、增强和异常检测。该工具利用高速 DataFrame 库 Polars。我们目前拥有八个公开可用系统（HDFS、Hadoop、BGL、Thunderbird、Spirit、Liberty、TrainTicket 和 GC Webshop）的加载器。我们提供多种增强器，包含三个解析器（Drain、Spell、LenMa）、Bert 嵌入生成以及其他日志表示技术如词袋模型。LogLead 集成了来自 SKLearn 的五种监督与四种无监督机器学习算法用于异常检测。通过集成多样数据集、日志表示方法和异常检测器，LogLead 促进了日志分析研究中的综合基准测试。我们表明，与过往方案相比，LogLead 从原始文件到 DataFrame 的日志加载速度快 10 倍以上。我们通过将日志消息归一化卸载至 LogLead，展示了 Drain 解析速度约 2 倍的提升。我们在 HDFS 上的简要基准测试表明，超越词袋方法的日志表示带来的额外收益有限。工具 URL：https://github.com/EvoTestOps/LogLead
引用
@article{arxiv.2311.11809,
title = {LogLead -- Fast and Integrated Log Loader, Enhancer, and Anomaly Detector},
author = {Mika Mäntylä and Yuqing Wang and Jesse Nyyssölä},
journal= {arXiv preprint arXiv:2311.11809},
year = {2024}
}
备注
2024 IEEE International Conference on Software Analysis, Evolution and Reengineering (SANER)