无需日志解析的基于日志的异常检测
软件工程
2021-09-01 v3 人工智能
摘要
软件系统通常将重要的运行时信息记录在系统日志中以便故障排查。已有许多研究利用日志数据构建机器学习模型以检测系统异常。通过实证研究发现,现有的基于日志的异常检测方法受到日志解析错误的显著影响,这些错误由 1) OOV(词汇表外)词,以及 2) 语义误解引入。日志解析错误可能导致异常检测重要信息的丢失。为解决现有方法的局限,我们提出 NeuralLog,一种无需日志解析的新型基于日志的异常检测方法。NeuralLog 提取原始日志消息的语义并将其表示为语义向量。随后通过这些表示向量,利用基于 Transformer 的分类模型检测异常,该模型能够捕获日志序列中的上下文信息。实验结果表明,所提方法能有效理解日志消息的语义并实现准确的异常检测结果。总体而言,NeuralLog 在四个公开数据集上取得了大于 0.95 的 F1-score,优于现有方法。
引用
@article{arxiv.2108.01955,
title = {Log-based Anomaly Detection Without Log Parsing},
author = {Van-Hoang Le and Hongyu Zhang},
journal= {arXiv preprint arXiv:2108.01955},
year = {2021}
}