AIOps 驱动的无人监督场景日志异常检测增强
机器学习
2023-12-13 v1 人工智能
信息检索
信息论
math.IT
摘要
人工智能运维 (AIOps) 在识别、缓解与分析异常系统行为及告警中扮演关键角色。然而，该领域的研究图景仍显有限，诸多重要空白尚未探索。本研究通过一种融合无监督策略的创新算法引入了一个新颖的混合框架。该策略整合主成分分析 (PCA) 与人工神经网络 (ANNs)，并使用自定义损失函数大幅增强日志异常检测的有效性。所提方法涵盖模拟与真实世界数据集的利用，包括来自 SockShop 与 Hadoop 分布式文件系统 (HDFS) 的日志。实验结果极具前景，展示了伪阳性的显著减少。此外，该策略具有显著优势，如能以原始未处理形式处理日志，以及进一步改进的潜力。该方法的成功实施展现出异常日志的显著减少，从而明确确立了所提方法的有效性。最终，本研究对 AIOps 平台内日志异常检测的进展作出了实质贡献，回应了现代复杂系统中高效且有效日志分析的关键需求。
引用
@article{arxiv.2311.02621,
title = {AIOps-Driven Enhancement of Log Anomaly Detection in Unsupervised Scenarios},
author = {Daksh Dave and Gauransh Sawhney and Dhruv Khut and Sahil Nawale and Pushkar Aggrawal and Prasenjit Bhavathankar},
journal= {arXiv preprint arXiv:2311.02621},
year = {2023}
}
备注
6 pages, 1 figure, 1 table