日志解析对基于深度学习的异常检测的影响
软件工程
2024-08-20 v4
摘要
软件系统记录大量日志数据，记载重要的运行时信息。此类日志被用于例如基于日志的异常检测，旨在通过分析系统日志中所记录的信息自动检测该系统的异常行为。许多基于深度学习模型的基于日志的异常检测技术包含一个称为日志解析的预处理步骤。然而，理解日志解析对异常检测技术精度的影响迄今出人意料地很少受到关注。因此，有必要研究日志解析技术理想上应具备哪些关键属性以帮助异常检测。本文中，我们报告了一项关于日志解析对异常检测精度影响的综合实证研究，使用了13种日志解析技术、7种异常检测技术（5种基于深度学习，2种基于传统机器学习）以及3个公开可用日志数据集。我们的实证结果表明，与广泛假设相反，无论使用何种度量日志解析精度的指标，日志解析精度与异常检测精度之间均无强相关性。此外，我们通过实验确认了已有的理论结果：正是我们所称的日志解析结果中的可区分性这一属性（而非其精度）在实现准确异常检测中起着关键作用。
引用
@article{arxiv.2305.15897,
title = {Impact of Log Parsing on Deep Learning-Based Anomaly Detection},
author = {Zanis Ali Khan and Donghwan Shin and Domenico Bianculli and Lionel Briand},
journal= {arXiv preprint arXiv:2305.15897},
year = {2024}
}