智能电表数据处理：简洁高效文本处理的范例
分布式、并行与集群计算
2022-12-29 v1
摘要
由于更多信息物理应用的部署，设备数据生产与采集的不断增长是一种持续趋势。智能电表因其在电网中的重要性，属于这类需要精细处理所产生数据的设备。在本文中，我们使用 Unicage——一种基于经典 Unix shell 脚本的数据处理系统，它以简洁的封装提供卓越性能。我们采用该方法处理 XML 格式的智能电表数据，并受制于一个真实用例所提出的约束。我们开发了一种解决方案，可在不到 10 分钟内解析、验证并对 2700 万个 XML 文件执行简单聚合。我们给出了该解决方案的研究及其采用所带来的益处。
引用
@article{arxiv.2212.13656,
title = {Smart meter data processing: a showcase for simple and efficient textual processing},
author = {Miguel Ferreira and André Neves and Rodrigo Gorjão and Carlos Cruz and Miguel L. Pardal},
journal= {arXiv preprint arXiv:2212.13656},
year = {2022}
}
备注
11 pages, 5 figures, 1 table, 9 listings. Accepted after review for the 1st Workshop on High-Performance and Reliable Big Data (HPBD 2021), which was held virtually on September 20th 2021, and was co-located with the 40th International Symposium on Reliable Distributed Systems (SRDS 2021)