面向物理传感器大数据的系统性数据特征理解框架
信息检索
2025-01-23 v1
摘要
大数据为现代社会带来新机遇，同时也给数据科学家带来挑战。随着传感器网络的快速发展和物联网的广泛采用，物理传感器数据已规模巨大地被收集。然而，在高质量的大数据分析方面仍存在诸多挑战。为了揭示大数据挑战并提升数据质量，必须从定量角度揭示数据特征。此外，现有研究缺乏对特定时间相关特征的分析。通过大数据生命周期的提升数据分析效率和精度， requires a comprehensive understanding of data characteristics to address hidden big data challenges. 为填补研究空白，本文提出了基于6Vs模型的系统性数据特征框架。该框架通过一组统计指标揭示数据特征，包括数据容量、多样性、速度、可信度、价值和变异性。该模型通过依赖数据驱动指标来提高数据特征理解的客观性。还包括与物理传感器数据相关的时间特征指标。最后，将大数据挑战与6Vs模型的每个维度关联起来，以获得数据挑战的定量理解。最后，开发了一个管道来实现所提出的框架，并进行了两个案例研究，以说明理解物理传感器数据特征及其如何针对大数据挑战进行数据预处理建议的过程。该提出的框架能够分析所有物理传感器数据，从而识别后续分析中的潜在挑战，并为数据预处理提供建议。
引用
@article{arxiv.2501.12720,
title = {A systematic data characteristic understanding framework towards physical-sensor big data challenges},
author = {Zhipeng Ma and Bo Nørregaard Jørgensen and Zheng Grace Ma},
journal= {arXiv preprint arXiv:2501.12720},
year = {2025}
}