面向水务基础设施监控的可扩展可靠数据分析平台
分布式、并行与集群计算
2021-02-18 v2
摘要
随着天气在更长的干旱期和更严重的降雨事件方面变得愈发极端，市政供水管网面临的压力日益增大。其影响包括管道损坏、街道内涝以及合流制下水道溢流。地下基础设施改造费用极为高昂，因此水务基础设施运营商正越来越多地寻求部署物联网解决方案，以期以极低的成本缓解这些问题。在本文中，我们报告了一个正在进行联合研究项目的初步结果，具体涉及其数据分析平台的设计与评估。整个系统由节能传感器节点组成，这些节点将观测数据发送至流处理引擎，引擎对数据进行分析和 enrichment（ enrichment：数据 enrichment）并传输结果至基于 GIS 的前端。由于所提出的方案旨在监控城市大型关键基础设施，系统架构中考虑了若干非功能性需求，如可扩展性、响应性和可靠性。我们提出了一个可扩展的流处理平台及其与其他组件的集成，以及用于数据处理的算法。我们讨论了重大挑战与设计决策，介绍了一种高效的数据 enrichment 流程，并给出了经验结果以验证对目标需求的符合性。本文随附公开发布了用于部署我们的平台及运行数据 enrichment 任务的全部代码。
引用
@article{arxiv.2012.00400,
title = {A Scalable and Dependable Data Analytics Platform for Water Infrastructure Monitoring},
author = {Felix Lorenz and Morgan Geldenhuys and Harald Sommer and Frauke Jakobs and Carsten Lüring and Volker Skwarek and Ilja Behnke and Lauritz Thamsen},
journal= {arXiv preprint arXiv:2012.00400},
year = {2021}
}