LogFormer：一种用于日志异常检测的预训练与微调流水线
机器学习
2024-01-11 v1 人工智能
软件工程
摘要
日志异常检测是面向IT运维的人工智能（AIOps）领域的关键组成部分。考虑到不同领域的日志数据，在真实工业场景中为未知领域重新训练整个网络效率低下。然而，以往的深度模型仅专注于提取同一领域内日志序列的语义，导致在多领域日志上泛化能力较差。为缓解这一问题，我们提出了一种统一的基于Transformer的日志异常检测框架（LogFormer），以提升跨不同领域的泛化能力，其中我们建立了一个包含预训练和基于适配器微调的两阶段过程。具体而言，我们的模型首先在源领域进行预训练，以获取日志数据的共享语义知识。然后，我们通过共享参数将这些知识迁移到目标领域。此外，提出了Log-Attention模块以补充日志解析所忽略的信息。所提出的方法在三个公开数据集和一个真实世界数据集上进行了评估。在多个基准上的实验结果证明了我们的LogFormer的有效性，其具有更少的可训练参数和更低的训练成本。
引用
@article{arxiv.2401.04749,
title = {LogFormer: A Pre-train and Tuning Pipeline for Log Anomaly Detection},
author = {Hongcheng Guo and Jian Yang and Jiaheng Liu and Jiaqi Bai and Boyang Wang and Zhoujun Li and Tieqiao Zheng and Bo Zhang and Junran peng and Qi Tian},
journal= {arXiv preprint arXiv:2401.04749},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2201.00016