OneLog：面向软件日志异常检测的端到端训练

随着在线服务、物联网设备和面向 DevOps 的软件开发的增长，软件日志异常检测正变得日益重要。先前的工作主要遵循传统的四阶段架构（预处理器、解析器、向量化器和分类器）。本文提出 OneLog，其利用单一的深度神经网络（DNN）取代多个独立组件。OneLog 在字符级别使用卷积神经网络（CNN），将先前工作中被移除的数字、数值和标点符号与主自然语言文本一并考虑。我们在六个基于消息和序列的数据集上评估了我们的方法：HDFS、Hadoop、BGL、Thunderbird、Spirit 和 Liberty。我们以单项目、多项目和跨项目设置对 Onelog 进行了实验。Onelog 在我们的数据集中提供了最先进的性能。Onelog 可在训练期间同时利用多项目数据集，这表明我们的模型能够在数据集之间泛化。多项目训练也提升了 Onelog 的性能，使其在单个项目训练数据有限时成为理想选择。我们还发现，跨项目异常检测在单一项目对（Liberty 和 Spirit）下是可行的。对模型内部的分析表明，一个日志具有多种异常检测模式，且模型学习了经人工验证的日志消息解析规则。我们得出结论，基于字符的 CNN 是日志异常检测中端到端学习的一种有前景的方法。它们在多个数据集上提供了良好的性能和泛化能力。我们将在本文被接收后公开我们的脚本。