通过学习自适应滤波器提高日志基异常检测性能
机器学习
2025-04-07 v1 数据库
摘要
日志消息记录系统运行时的重要信息，对检测异常行为和管理现代软件系统具有重要作用。近期提出了许多监督和无监督学习方法用于日志基异常检测。当前最先进的无监督方法预测给定日志序列的下一个日志事件，并应用固定配置（即使用相同滤波条件：取前 k 个预测的日志事件作为正常的下一个事件），这会导致检测阶段性能不佳，因为它为所有日志序列设置固定的 k，忽略了不同日志序列的动态特性和差异。最近，深度强化学习（DRL）被广泛应用于动态环境中的智能决策。在本工作中，我们认为为不同日志序列构建自适应滤波器是必要的。为实现这一目标，我们提出一种基于 DRL 的新方法，用于构建学习型自适应滤波器，为不同日志序列应用不同的正常/异常滤波阈值。我们定义马尔可夫决策过程（MDP），并将学习型自适应滤波器表述为可由 DRL 求解的问题。我们在两个数据集 HDFS 和 BGL 上对学习型自适应滤波器在两种最先进的日志基异常检测无监督方法 DeepLog 和 LogAnomaly进行评估。大量实验表明，我们的方法优于固定配置，在日志基异常检测中取得显著更好的性能。
引用
@article{arxiv.2504.02994,
title = {Improving log-based anomaly detection through learned adaptive filter},
author = {Yiyuan Xiong and Shaofeng Cai},
journal= {arXiv preprint arXiv:2504.02994},
year = {2025}
}