物联网中大数据传感数据的异常检测与冗余消除
分布式、并行与集群计算
2017-03-10 v1 网络与互联网体系结构
摘要
在大数据和物联网时代，物联网收集了海量传感数据。传感器网络捕获的数据量被认为包含高度有用和有价值的信息。然而，由于种种原因，接收到的传感数据经常出现异常。因此，需要有效的异常检测方法来保证这些传感器节点收集数据的质量。由于传感数据通常在时间和空间上具有相关性，并非所有收集的数据对进一步的数据处理和分析都有价值。预处理对于消除收集的海量传感数据中的冗余是必要的。在本文中，提出的工作定义了一个传感数据预处理框架。它主要由两部分组成，即传感数据异常检测和传感数据冗余消除。在第一部分，提出了基于主统计分析方法和贝叶斯网络的传感数据异常检测方法。然后，提出了基于静态贝叶斯网络（SBN）和动态贝叶斯网络（DBN）的传感数据冗余消除方法。提出了用于消除静态数据集中冗余数据的静态传感数据冗余检测算法（SSDRDA）和用于消除实时冗余传感数据的实时传感数据冗余检测算法（RSDRDA）。使用真实收集的传感数据集验证了所提方法的效率和有效性。
引用
@article{arxiv.1703.03225,
title = {Anomaly Detection and Redundancy Elimination of Big Sensor Data in Internet of Things},
author = {Sai Xie and Zhe Chen},
journal= {arXiv preprint arXiv:1703.03225},
year = {2017}
}