不确定智能水表数据的渐进式清洗与挖掘
数据库
2020-02-10 v1
摘要
一些市政部门最近安装了无线“智能”水表,可实现需求响应、泄漏警报、特征需求模式识别以及详细消耗分析等功能。要获得这些益处,水表数据必须无误差,但由于数据“脏”或“不确定”(这在很大程度上不可避免),实践中未必能得到无误差数据。本文重点研究从不确定数据中挖掘可靠结果的实用方案,并评估脏数据对过滤器的影响。该评估最终将产生有价值的信息,可用于水规划策略的明智决策。我们对大规模智能水表部署中存在的误差进行了系统研究,有助于更好地理解误差的性质。将识别导致负荷峰值的用户作为主要过滤器,然后将过滤器输出与领域专家知识结合,以评估其准确性与有效性,并寻找潜在误差。发现每个误差后,我们分析其在数据中的痕迹并追溯其来源,最终消除该误差或相应处理。此过程渐进式应用,以确保所有可检测误差均在数据模型中被发现并刻画。我们使用加拿大不列颠哥伦比亚省阿伯茨福德市获得的智能水表消耗数据评估所提方法的性能。我们给出了未处理数据与清洗后数据的结果,并详细分析了所选过滤器对误差的敏感性。
引用
@article{arxiv.2002.02552,
title = {Progressive Cleaning and Mining of Uncertain Smart Water Meter Data},
author = {Milad Khaki},
journal= {arXiv preprint arXiv:2002.02552},
year = {2020}
}
备注
12 pages, 6 figures