原位传感器高频水质数据自动异常检测框架
应用统计
2019-02-11 v2
摘要
河流水质监测日益采用自动化原位传感器进行，从而能够更及时地识别异常值。然而，由技术问题引起的异常会干扰这些数据，而数据的数量与速度又阻碍了人工检测。我们提出一个用于原位传感器高频水质数据自动异常检测的框架，使用浊度、电导率和河流水位数据。在明确终端用户需求并定义异常后，我们对异常的重要性进行排序并选择合适的检测方法。高优先级异常包括突发的孤立尖峰和水平偏移，其中大多数可由基于回归的方法（如自回归积分滑动平均模型）正确分类。然而，由于变量间关系复杂，使用其他水质变量作为协变量反而降低了性能。当我们应用以预测值替换异常测量值时，漂移以及异常低或高变异性时段的分类有所改善，但这抬高了假阳性率。基于特征的方法在高优先级异常上也表现良好，但在检测低优先级异常方面较弱，导致高假阴性率。与基于回归的方法不同，所有基于特征的方法均产生低假阳性率，但不需要训练或优化。基于规则的方法成功检测了不可能值和缺失观测。因此，我们建议使用多种方法组合以提升异常检测性能，同时将误检率降至最低。此外，我们的框架强调了终端用户与分析人员之间沟通对于在检测性能和终端用户需求两方面取得最优结果的重要性。我们的框架适用于其他类型的高频时间序列数据与异常检测应用。
引用
@article{arxiv.1810.13076,
title = {A framework for automated anomaly detection in high frequency water-quality data from in situ sensors},
author = {Catherine Leigh and Omar Alsibai and Rob J. Hyndman and Sevvandi Kandanaarachchi and Olivia C. King and James M. McGree and Catherine Neelamraju and Jennifer Strauss and Priyanga Dilini Talagala and Ryan S. Turner and Kerrie Mengersen and Erin E. Peterson},
journal= {arXiv preprint arXiv:1810.13076},
year = {2019}
}