在基于日志的异常检测中利用日志指令
人工智能
2022-07-08 v1
摘要
IT运维人工智能（AIOps）描述了使用各种AI赋能的方法和工具来维护和运营大型IT系统的过程，例如用于异常检测和根因分析，以支持修复、优化和自动启动自稳定的IT活动。任何AIOps工作流的核心步骤是异常检测，通常针对高容量的异构数据执行，如日志消息（logs）、指标（如CPU利用率）和分布式追踪。在本文中，我们提出了一种从系统日志中进行可靠且实用的异常检测的方法。它通过利用来自1000多个GitHub项目源代码的日志指令构建异常检测模型，克服了相关工作常见的缺点，即需要大量人工标记的训练数据。来自不同系统的指令包含关于许多不同正常和异常IT事件的丰富异构信息，并作为异常检测的基础。所提出的方法名为ADLILog，它结合了日志指令和来自目标系统的数据，通过两阶段学习过程来学习深度神经网络模型。实验结果表明，ADLILog在F1分数上比相关方法高出多达60%，同时满足了工业部署的核心非功能性需求，如无监督设计、高效的模型更新和小模型尺寸。
引用
@article{arxiv.2207.03206,
title = {Leveraging Log Instructions in Log-based Anomaly Detection},
author = {Jasmin Bogatinovski and Gjorgji Madjarov and Sasho Nedelkoski and Jorge Cardoso and Odej Kao},
journal= {arXiv preprint arXiv:2207.03206},
year = {2022}
}
备注
This paper has been accepted for publication in IEEE Service Computing Conference, 2022, Barcelona