基于极值理论并带反馈的日志异常检测
软件工程
2023-10-03 v2 机器学习
摘要
系统日志在维护软件系统的可靠性方面发挥着关键作用。大量研究已探索了自动化的基于日志的异常检测，并在基准数据集上取得了显著的准确率。然而，当应用于大规模云系统时，这些方案由于高资源消耗以及缺乏对不断演化日志的适应性而面临局限。在本文中，我们提出了一个准确、轻量且自适应的基于日志的异常检测框架，称为 SeaLog。我们的方法引入了基于 Trie 的检测代理（TDA），其采用轻量、动态增长的 trie 结构进行实时异常检测。为提升 TDA 在面对演化日志数据时的准确率，我们使其能接收来自专家的反馈。有趣的是，我们的发现表明，当代大语言模型（LLM），如 ChatGPT，可提供与人类专家一致性水平相当的反馈，这有可能减少人工核验工作。我们在两个公共数据集和一个工业数据集上对 SeaLog 进行了广泛评估。结果表明，SeaLog 在有效性上优于所有基线方法，运行速度快 2 至 10 倍，且仅消耗 5% 至 41% 的内存资源。
引用
@article{arxiv.2306.05032,
title = {Log-based Anomaly Detection based on EVT Theory with feedback},
author = {Jinyang Liu and Junjie Huang and Yintong Huo and Zhihan Jiang and Jiazhen Gu and Zhuangbin Chen and Cong Feng and Minzhi Yan and Michael R. Lyu},
journal= {arXiv preprint arXiv:2306.05032},
year = {2023}
}