FastLogAD：基于掩码引导的伪异常生成与判别的日志异常检测
机器学习
2024-04-16 v1
摘要
如今，大型计算机系统会大量输出日志以记录运行时状态，从实时日志提供的信息中识别任何可疑或恶意活动已变得至关重要。因此，快速日志异常检测是实现自动化、替代不可行人工检测的一项必要任务。现有的大多数无监督方法仅在正常日志数据上进行训练，但它们通常需要额外的异常数据用于超参数选择，或需要辅助数据集用于判别模型优化。本文旨在构建一个能够实现快速异常检测的高效判别模型，我们提出了FastLogAD，这是一个生成器-判别器框架，通过掩码引导异常生成（MGAG）模型展现生成伪异常日志的能力，并通过判别式异常分离（DAS）模型高效识别异常日志。具体而言，伪异常日志是通过将正常序列中随机掩码的令牌替换为不太可能的候选令牌而生成的。在判别阶段，FastLogAD基于嵌入范数学习正常样本与伪异常样本之间的清晰分离，从而允许在不接触任何测试数据的情况下选择阈值，并取得有竞争力的性能。在多个常见基准数据集上的大量实验表明，我们提出的FastLogAD优于现有的异常检测方法。此外，与先前方法相比，FastLogAD的异常检测速度至少提升了10倍。我们的实现代码可在 https://github.com/YifeiLin0226/FastLogAD 获取。
引用
@article{arxiv.2404.08750,
title = {FastLogAD: Log Anomaly Detection with Mask-Guided Pseudo Anomaly Generation and Discrimination},
author = {Yifei Lin and Hanqiu Deng and Xingyu Li},
journal= {arXiv preprint arXiv:2404.08750},
year = {2024}
}
备注
10 pages