时间序列异常检测：在特征有限、样本稀疏的含噪高度周期性数据中检测异常下降
机器学习
2017-08-15 v1 机器学习
摘要
Google 利用来自行业合作伙伴的连续数据流，以便向用户提供准确的结果。流量的意外下降可能表明存在潜在问题，并可能是需要采取纠正措施的早期预警。检测此类下降并非易事，因为数据流多变且含噪，交通数据中具有大致规律的尖峰（呈现许多不同的形状）。我们研究了是否能够预测这些数据流中的异常。我们的目标是利用机器学习和统计方法，对周期性但含噪的流量模式中的异常下降进行分类。由于我们没有大量带标签的样本可以直接应用监督学习进行异常分类，我们分两部分处理该问题。首先，我们使用 TensorFlow 训练了包括 DNN、RNN 和 LSTM 在内的各种模型，以执行回归并预测时间序列中的期望值。其次，我们创建了异常检测规则，将实际值与预测值进行比较。由于该问题要求寻找持续性异常，而不仅仅是数据中的短暂延迟或瞬间不活动，因此我们的两种检测方法侧重于活动的连续区段，而不仅仅是单个点。我们尝试了模型和规则的多种组合，发现使用两种异常检测方法的交集被证明是在几乎所有模型上检测异常的有效方法。在此过程中，我们还发现并非所有数据都符合我们的实验假设，因为有一个数据流没有周期性，因此没有基于时间的模型能够预测它。
引用
@article{arxiv.1708.03665,
title = {Time Series Anomaly Detection; Detection of anomalous drops with limited features and sparse examples in noisy highly periodic data},
author = {Dominique T. Shipmon and Jason M. Gurevitch and Paolo M. Piselli and Stephen T. Edwards},
journal= {arXiv preprint arXiv:1708.03665},
year = {2017}
}