关键物联网分析流水线系统配置的有效测试
分布式、并行与集群计算
2021-02-26 v2
摘要
物联网的出现带来了大量用于监控甚至关键基础设施的互联设备。分布式流处理已成为分析这些互联设备所生成数据并提升我们决策能力的关键。然而,由于涉及大规模分布式系统、存在众多配置参数,以及难以轻易确定调优这些参数的影响,使这些系统针对特定服务质量目标进行优化是一项困难且耗时的任务。本文提出一种针对关键物联网分析流水线系统配置的有效测试方法。我们用一个名为 Timon 的原型展示了该方法,其集成于 Kubernetes。该工具允许流水线轻松并行复制与评估,以确定特定应用的最优配置。我们通过研究在 Apache Flink 中实现的一个基于地理的流量监控示例应用的不同配置,展示了我们方法的有用性。
引用
@article{arxiv.2102.06094,
title = {Effectively Testing System Configurations of Critical IoT Analytics Pipelines},
author = {Morgan Geldenhuys and Lauritz Thamsen and Kain Kordian Gontarska and Felix Lorenz and Odej Kao},
journal= {arXiv preprint arXiv:2102.06094},
year = {2021}
}