RIoTBench:面向分布式流处理平台的实时物联网基准测试套件
分布式、并行与集群计算
2019-05-10 v1
摘要
物联网 (IoT) 是一种新兴的技术范式,其中数百万传感器与执行器帮助实时监控和管理物理、环境及人类系统。IoT 应用固有的闭环响应与决策制定,使其成为使用低延迟且可扩展的流处理平台的理想候选。托管于云数据中心的分布式流处理系统 (DSPS) 正成为任何 IoT 软件架构中实时数据处理与分析的关键引擎。但当代 DSPS 的效能与性能尚未针对 IoT 应用与数据流得到严格研究。在此,我们开发了 RIoTBench,一个实时 IoT 基准测试套件,连同性能指标,用以评估面向流式 IoT 应用的 DSPS。该基准包含 27 个常见 IoT 任务,跨多种功能类别分类,并实现为可复用的微基准。此外,我们提出由这些任务构成的四个 IoT 应用基准,其利用了 DSPS 的多种数据流语义。这些应用基于数据预处理、统计汇总与预测分析等常见 IoT 模式。它们与四个流工作负载相结合,这些工作负载源自智能城市与健身领域的真实 IoT 观测,峰值流速率范围从 500 到 10000 消息/秒,且频率分布多样。我们在 Microsoft Azure 公有云上对流行的 Apache Storm DSPS 验证了 RIoTBench 套件,并给出经验性观测。该套件可供 DSPS 研究人员用于性能分析与资源调度,也可供 IoT 从业者评估 DSPS 平台。
引用
@article{arxiv.1701.08530,
title = {RIoTBench: A Real-time IoT Benchmark for Distributed Stream Processing Platforms},
author = {Anshu Shukla and Shilpa Chaturvedi and Yogesh Simmhan},
journal= {arXiv preprint arXiv:1701.08530},
year = {2019}
}
备注
33 pages. arXiv admin note: substantial text overlap with arXiv:1606.07621