使用元学习的跨系统软件日志异常检测
软件工程
2025-01-28 v2
摘要
现代软件系统产生大量日志，作为异常检测的重要资源。已经开发了面向 IT 运维的人工智能（AIOps）工具，以自动化软件系统基于日志的异常检测过程。该领域普遍认可三个实际挑战：高数据标注成本、动态系统中不断演化的日志，以及跨不同系统的适应性。在本文中，我们提出了 CroSysLog，一种用于日志事件级异常检测的 AIOps 工具，专门针对这些挑战而设计。遵循先前的方法，CroSysLog 使用神经表示方法以获得对日志的细致理解，并相应地为单个日志事件生成表示。CroSysLog 可以在具有来自开放数据集的充足标注日志的源系统上进行训练以实现鲁棒性，然后使用少量标注日志事件高效地适应目标系统，以进行有效的异常检测。我们使用四个大规模分布式超级计算系统的开放数据集评估 CroSysLog：BGL、Thunderbird、Liberty 和 Spirit。我们使用了这些系统的随机日志划分，保持连续日志事件的时间顺序，以训练和评估 CroSysLog。这些划分广泛分布在每个系统日志收集周期的一年/两年跨度内，从而捕获了每个系统中日志不断演化的特性。我们的结果表明，在将 Liberty 和 BGL 作为源系统训练 CroSysLog 后，CroSysLog 可以使用每个目标系统的少量标注日志事件高效地适应目标系统 Thunderbird 和 Spirit，有效地对这些目标系统执行异常检测。结果表明，CroSysLog 是一种用于软件系统运维和维护背景下日志事件级异常检测的实用、可扩展且适应性强的工具。
引用
@article{arxiv.2412.15445,
title = {Cross-System Software Log-based Anomaly Detection Using Meta-Learning},
author = {Yuqing Wang and Mika V. Mäntylä and Jesse Nyyssölä and Ke Ping and Liqiang Wang},
journal= {arXiv preprint arXiv:2412.15445},
year = {2025}
}