日志数据异常的分类体系
数据库
2021-11-29 v1 综合文献
机器学习
摘要
日志数据异常检测是人工智能在IT运维领域的核心组成部分。然而，大量现有方法使得为特定系统选择正确的方法变得困难。更好地理解不同类型的异常以及哪些算法适合检测它们，将有助于研究人员和IT运维人员。尽管已经存在一个通用的异常分类体系，但它尚未专门应用于日志数据，以指出该领域的特征和特殊性。在本文中，我们提出了一种针对不同类型日志数据异常的分类体系，并引入了一种在标记数据集中分析此类异常的方法。我们将我们的分类体系应用于三个常见的基准数据集Thunderbird、Spirit和BGL，并训练了五种最先进的无监督异常检测算法，以评估它们在检测不同类型异常时的性能。我们的结果表明，最常见的异常类型也是最容易预测的。此外，基于深度学习的方法在所有异常类型上的表现都优于基于数据挖掘的方法，尤其是在检测上下文异常时。
引用
@article{arxiv.2111.13462,
title = {A Taxonomy of Anomalies in Log Data},
author = {Thorsten Wittkopp and Philipp Wiesner and Dominik Scheinert and Odej Kao},
journal= {arXiv preprint arXiv:2111.13462},
year = {2021}
}
备注
Paper accepted and presented at AIOPS workshop 2021 co-located with ICSOC 2021