微助显奇效：利用主动学习改进无监督时间序列异常检测
机器学习
2023-05-26 v1
摘要
关键绩效指标（KPI）本质上是时间序列数据，已被广泛用于指示电信网络的性能。基于给定的 KPI，已部署了大量异常检测算法来检测意外的网络事件。一般而言，无监督异常检测算法比有监督算法更受欢迎，因为标注 KPI 极其耗费时间和资源，且容易出错。然而，这些无监督异常检测算法常常遭受过多误报的困扰，尤其是在由网络重新配置或维护引起的概念漂移出现时。为应对这一挑战并改进无监督异常检测算法的整体性能，我们提出使用主动学习来引入并受益于运维人员的反馈，他们可以以合理的代价验证告警（包括误报和真报）并标注相应的 KPI。具体而言，我们开发了三种查询策略来选择信息量最大且最具代表性的样本进行标注。我们还开发了一种高效方法来更新 Isolation Forest 的权重并最优调整决策阈值，从而最终提升检测模型的性能。使用 one public dataset 和一个专有数据集的实验表明，我们的主动学习赋能的异常检测流水线在 F1-score 上相比基线算法可实现超过 50% 的性能提升。它还以显著减少的标注预算（待标注样本比例）比现有基于主动学习的方法高出约 6%–10%。
引用
@article{arxiv.2201.10323,
title = {Little Help Makes a Big Difference: Leveraging Active Learning to Improve Unsupervised Time Series Anomaly Detection},
author = {Hamza Bodor and Thai V. Hoang and Zonghua Zhang},
journal= {arXiv preprint arXiv:2201.10323},
year = {2023}
}
备注
Paper accepted at the AIOPS 2021 workshop from the 19th International Conference on Service-Oriented Computing (ICSOC). (https://aiops2021.github.io/accepted_papers/index.html)