基于日志的异常检测中机器学习技术的综合研究
软件工程
2025-06-24 v5 机器学习
摘要
系统复杂性的增长提升了对自动化日志分析技术（如基于日志的异常检测(LAD)）的需求。尽管深度学习方法已广泛用于 LAD，传统机器学习(ML)技术依上下文与数据集不同亦可表现良好。半监督技术值得与全监督方法同等关注，因其具备实际优势。当前评估主要聚焦检测精度，但仅凭此不足以判定某项技术对给定 LAD 任务的适用性。其他需考量方面包括训练与预测时间，以及对超参数调优的敏感性，这些在实践中对工程师至关重要。本文呈现一项综合实证研究中，在四项准则下评估了广泛的有监督与半监督、传统与深度 ML 技术：检测精度、时间性能，以及在检测精度与时间性能上对超参数调优的敏感性。实验结果表明，在所考量的大多数基准数据集上，有监督传统与深度 ML 技术在检测精度与预测时间上表现相近。此外，总体上，针对检测精度的超参数调优敏感性分析显示有监督传统 ML 技术较深度学习技术敏感性更低。进而，半监督技术的检测精度显著劣于有监督技术。
引用
@article{arxiv.2307.16714,
title = {A Comprehensive Study of Machine Learning Techniques for Log-Based Anomaly Detection},
author = {Shan Ali and Chaima Boufaied and Domenico Bianculli and Paula Branco and Lionel Briand},
journal= {arXiv preprint arXiv:2307.16714},
year = {2025}
}
备注
Accepted by EMSE'25