物联网应用中流式数据流的协同复用
分布式、并行与集群计算
2019-05-10 v1
摘要
分布式流处理系统（DSPS）如Apache Storm和Spark Streaming支持在数据流上持续执行的连续数据流的组合。它们被物联网（IoT）应用用于分析来自智能城市网络基础设施的传感器数据，并做出主动的效用管理决策。随着利用共享城市传感器流的此类IoT应用生态系统的持续增长，应用将执行重复的预处理和分析任务。这提供了协同复用重叠数据流输出的机会，从而提高资源效率。本文提出数据流复用算法，给定提交的数据流，从正在运行的数据流集合中识别可复用任务和流的交集，以形成合并数据流。还提出了当数据流被移除时取消合并的类似算法。我们在流行的Apache Storm DSPS上实现这些算法，并基于具有不同到达和离开分布的公共OPMW工作流的35个合成数据流以及来自RIoTBench的21个真实IoT数据流，验证其性能和资源节省。
引用
@article{arxiv.1709.03332,
title = {Collaborative Reuse of Streaming Dataflows in IoT Applications},
author = {Shilpa Chaturvedi and Sahil Tyagi and Yogesh Simmhan},
journal= {arXiv preprint arXiv:1709.03332},
year = {2019}
}
备注
To appear in IEEE eScience Conference 2017