通过在线张量恢复对大型环境传感器网络进行流数据预处理
机器学习
2021-09-03 v1
摘要
借助低成本城市环境传感器网络，以细粒度尺度测量建成与自然环境中已成为可能。然而，细粒度城市尺度数据分析因繁琐的数据清洗（包括去除离群值和填补缺失数据）而复杂化。尽管已有许多方法可自动校正异常并填补缺失项，但在具有大时空尺度和漂移模式的数据上仍存在挑战。为应对这些挑战，我们提出一种在线鲁棒张量恢复（OLRTR）方法，用于预处理流式高维城市环境数据集。计算一个捕捉数据底层模式的小规模字典，并随新数据持续更新。OLRTR 能够对提供连续数据流的大规模传感器网络进行在线恢复，且相比离线批处理方法具有更低的计算内存占用。此外，我们构建目标函数使 OLRTR 可检测结构化离群值，例如长时间内的故障读数。我们在人工退化的美国国家海洋和大气管理局温度数据集上验证 OLRTR，恢复误差为 0.05，并将其应用于伊利诺伊州芝加哥的 Array of Things 城市尺度传感器网络，显示出优于若干已有在线与基于批处理的低秩分解方法的结果。
引用
@article{arxiv.2109.00596,
title = {Streaming data preprocessing via online tensor recovery for large environmental sensor networks},
author = {Yue Hu and Ao Qu and Yanbing Wang and Dan Work},
journal= {arXiv preprint arXiv:2109.00596},
year = {2021}
}