适配大型语言模型以实现参数高效的日志异常检测
机器学习
2025-03-12 v1 计算与语言
摘要
日志异常检测旨在识别日志数据中的非典型模式，这对于评估系统的安全性和运行状况至关重要。尽管大型语言模型在各个领域取得了巨大成功，但利用 LLM 实现日志异常检测的应用在很大程度上尚未被探索。本工作旨在填补这一空白。由于完全微调 LLM 的成本过高，我们探索了使用参数高效微调技术将 LLM 适配于 LAD。为了深入探索 LLM 驱动的 LAD 的潜力，我们全面研究了如何利用两种最受欢迎的 PEFT——低秩自适应和表示微调——来挖掘三种不同规模的知名 LLM（包括 RoBERTa、GPT-2 和 Llama-3），以实现参数高效的 LAD。我们在四个公开日志数据集上进行了全面实验，揭示了在几个关键视角下有效 LLM 驱动 LAD 的重要见解，包括这些基于 PEFT 的 LLM 驱动 LAD 方法的有效性、稳定性、样本效率、对不稳定日志的鲁棒性以及跨数据集泛化能力。代码可在 https://github.com/mala-lab/LogADReft 获取。
引用
@article{arxiv.2503.08045,
title = {Adapting Large Language Models for Parameter-Efficient Log Anomaly Detection},
author = {Ying Fu Lim and Jiawen Zhu and Guansong Pang},
journal= {arXiv preprint arXiv:2503.08045},
year = {2025}
}
备注
12 pages, 5 figures, accepted by PAKDD 2025 special session