OMLog：基于元学习的面向演化系统的在线日志异常检测
软件工程
2024-10-23 v1 密码学与安全
摘要
日志异常检测（LAD）是确保软件系统安全稳定运行的关键。尽管当前的LAD方法在处理不稳定日志事件和时序模式方面具有潜力，但其在检测效率和泛化能力上的局限性，使得面对演化系统时仍面临挑战。为构建实时可靠的在线日志异常检测模型，我们提出OMLog——一种半监督的在线元学习方法，旨在有效解决因日志事件类型和频率变化导致的分布迁移问题。具体而言，我们引入基于最大均值偏差（MMD）的分布迁移检测方法，以识别未见日志序列中的分布变化。根据识别出的分布差异，方法可自动触发在线精细检测或离线快速推断。此外，我们设计了基于元学习的在线学习机制，能够在特征空间中有效学习日志序列的高度重复模式，从而提升模型对演化数据的泛化能力。我们在两个公开的日志数据集（HDFS 和 BGL）上进行了大量实验，验证了OMLog方法的有效性。该方法仅使用正常日志序列训练即可实现93.7%和64.9%的F1分数，显著超越了当前最先进（SOTA）的LAD方法，显示出卓越的检测效率。
引用
@article{arxiv.2410.16612,
title = {OMLog: Online Log Anomaly Detection for Evolving System with Meta-learning},
author = {Jiyu Tian and Mingchu Li and Zumin Wang and Liming Chen and Jing Qin and Runfa Zhang},
journal= {arXiv preprint arXiv:2410.16612},
year = {2024}
}
备注
13 pages