雾与云计算中面向 IoT 数据的无服务器数据流水线方法
分布式、并行与集群计算
2021-12-21 v1
摘要
随着物联网（IoT）设备数量的不断增加，海量原始数据正在被生成。基于云的 IoT 数据处理在延迟、成本及其他方面的挑战推动了边缘与雾计算模型的采用，其中部分数据处理任务被移至更靠近数据源的位置。妥善处理此类数据流需要构建数据流水线，以控制数据流从数据源采集、边缘与雾处理到云端存储与分析的完整生命周期。数据分析任务需要动态地在距数据源不同距离处执行，且常运行于异构硬件设备上。这可以通过无服务器（或称 FaaS）云计算模型来简化，其中任务被定义为虚拟函数，可在边缘与云之间（及反向）迁移，并以事件驱动方式在数据流上执行。本文研究为 IoT 数据分析构建无服务器数据流水线（SDP）的益处，并评估三种 SDP 设计方法：1）基于现成数据流工具（DFT），2）基于对象存储服务（OSS），3）基于 MQTT。此外，我们将这些策略应用于三个雾应用（Aeneas、PocketSphinx 及自定义视频处理应用），并通过比较其处理时间（计算时间、网络通信与磁盘访问时间）和资源利用率来评估性能。结果表明，DFT 不适用于视频或图像处理等计算密集型应用，而 OSS 最适于此类任务。然而，由于网络资源占用最小，DFT 非常契合带宽密集型应用。另一方面，基于 MQTT 的 SDP 随着……数量的增多观察到 CPU 与内存使用率上升（因字符限制截断）。
引用
@article{arxiv.2112.09974,
title = {Serverless data pipeline approaches for IoT data in fog and cloud computing},
author = {Shivananda R Poojara and Chinmaya Kumar Dehury and Pelle Jakovits and Satish Narayana Srirama},
journal= {arXiv preprint arXiv:2112.09974},
year = {2021}
}
备注
17 pages, 5 Tables, 22 Figures. Accepted in Elsevier FGCS. Accepted version