一种用于移动网络故障分类的监督嵌入与聚类异常检测方法
机器学习
2023-10-11 v1 人工智能
摘要
本文提出监督嵌入与聚类异常检测（SEMC-AD），一种旨在高效识别移动网络中故障告警日志、并缓解因告警日志量增长所致人工监控挑战的方法。SEMC-AD 采用基于深度神经网络的监督嵌入方法，利用历史告警日志及其标签为每条日志提取数值表示，有效解决了数据集中异常占比小导致的类别不平衡分类问题，且未使用独热编码。通过绘制嵌入告警日志的两个最显著主成分，评估了嵌入的鲁棒性，显示异常形成具有相似嵌入的明显簇。随后对这些成分应用多元正态高斯聚类，识别异常与正常告警比例高（高于 90%）的簇，并将其标记为异常组。为分类新告警日志，我们检查其嵌入向量的两个最显著主成分是否落入异常标记簇中；若是，则该日志被分类为异常。性能评估表明，SEMC-AD 优于未使用嵌入的常规随机森林与梯度提升方法。SEMC-AD 实现 99% 异常检测，而随机森林与 XGBoost 分别仅检测出 86% 与 81% 的异常。尽管监督分类方法在带标签数据集中可能表现优异，但结果表明 SEMC-AD 在具有众多类别特征的数据集中分类异常更为高效，显著增强了异常检测、减轻了运维人员负担并改善了网络维护。
引用
@article{arxiv.2310.06779,
title = {A Supervised Embedding and Clustering Anomaly Detection method for classification of Mobile Network Faults},
author = {R. Mosayebi and H. Kia and A. Kianpour Raki},
journal= {arXiv preprint arXiv:2310.06779},
year = {2023}
}