Log2graphs：一种基于高效特征提取的无监督日志异常检测框架
密码学与安全
2024-09-19 v1
摘要
在互联网快速发展的时代，日志数据已成为记录计算机设备和软件操作不可或缺的工具。这些数据为理解系统行为提供了宝贵的见解， necessitating thorough analysis。最近的文本分析进展使深度学习在日志异常检测方面取得了显著突破。然而，高昂的手动标注成本和使用场景的动态性质是有效日志分析的主要挑战。本研究提出一种新型日志特征提取模型，名为DualGCN-LogAE，旨在适应各种场景。它利用大型模型对日志内容进行分析的表达力，以及图结构封装日志之间相关性的能力。它保留关键日志信息，同时整合日志之间的因果关系，以实现有效的特征提取。此外，我们引入Log2graphs，一种基于特征提取器的无监督日志异常检测方法。通过采用图聚类算法进行日志异常检测，Log2graphs能够在无需标记数据的情况下识别异常日志。我们使用来自五个不同场景的公共日志数据集全面评估了DualGCN-LogAE的特征提取能力和Log2graphs的异常检测性能。我们的评估指标包括检测准确率和图聚类质量分数。实验结果表明，DualGCN-LogAE提取的日志特征在经典分类器上优于其他方法。而Log2graphs则超越了现有的无监督日志检测方法，为推进日志异常检测研究提供了稳健的工具。
引用
@article{arxiv.2409.11890,
title = {Log2graphs: An Unsupervised Framework for Log Anomaly Detection with Efficient Feature Extraction},
author = {Caihong Wang and Du Xu and Zonghang Li},
journal= {arXiv preprint arXiv:2409.11890},
year = {2024}
}