LAnoBERT：基于 BERT 掩码语言模型的系统日志异常检测
机器学习
2023-07-25 v3 计算与语言
摘要
计算机系统中生成的系统日志是指同时收集的大规模数据，用作判定错误、入侵和异常行为的基础数据。系统日志异常检测的目标是在最小化人工干预的同时及时识别异常，这是工业界的一个关键问题。以往的研究在使用解析器将各种形式的日志数据转换为标准化模板后，通过算法执行异常检测。特别是，应为所有日志数据预先定义对应于特定事件的模板，这可能导致日志键内的信息丢失。在本研究中，我们提出 LAnoBERT，一种无解析器的系统日志异常检测方法，它使用表现出优异自然语言处理性能的 BERT 模型。所提出的方法 LAnoBERT 通过掩码语言建模（一种基于 BERT 的预训练方法）学习模型，并在测试过程中利用基于每个日志键的掩码语言建模损失函数进行无监督学习式的异常检测。此外，我们还提出了一种高效的推理过程，以建立实际可应用于真实系统的流水线。在三个知名日志数据集（即 HDFS、BGL 和 Thunderbird）上的实验表明，LAnoBERT 不仅比基于无监督学习的基准模型取得了更高的异常检测性能，而且取得了与基于有监督学习的基准模型相当的性能。
引用
@article{arxiv.2111.09564,
title = {LAnoBERT: System Log Anomaly Detection based on BERT Masked Language Model},
author = {Yukyung Lee and Jina Kim and Pilsung Kang},
journal= {arXiv preprint arXiv:2111.09564},
year = {2023}
}