基于特征的原位传感器水质数据技术离群值检测框架
应用统计
2019-02-19 v1
摘要
原位传感器水质数据中由技术误差引起的离群值会降低数据质量，并直接影响后续数据分析得出的推断。然而，鉴于传感器产生的数据量与速度，通过人工监测检测离群值并不可行。在此，我们提出一种自动化框架，可早期检测由技术问题引起的原位传感器水质数据中的离群值。该框架首先用于识别将离群实例与典型行为区分开的数据特征，然后应用统计变换使离群实例在变换后的数据空间中凸显。随后将无监督离群值评分技术应用于变换后的数据空间，并基于极值理论的方法为每个潜在离群值计算阈值。利用来自流入澳大利亚大堡礁泻湖的河流中原位传感器的两个数据集，我们表明所提框架成功识别了涉及浊度、电导率和河流水位的突变离群值，包括突刺、突发孤立下降与水位偏移，同时保持极低的误检率。我们在开源 R 包 oddwater 中实现了该框架。
引用
@article{arxiv.1902.06351,
title = {A feature-based framework for detecting technical outliers in water-quality data from in situ sensors},
author = {Priyanga Dilini Talagala and Rob J. Hyndman and Catherine Leigh and Kerrie Mengersen and Kate Smith-Miles},
journal= {arXiv preprint arXiv:1902.06351},
year = {2019}
}