Theodolite：微服务架构中分布式流处理引擎的可扩展性基准测试

分布式流处理引擎的设计侧重于以连续方式处理大数据量的可扩展性。我们提出 Theodolite 方法，用于对流处理分布式引擎的可扩展性进行基准测试。该方法的核心在于定义实现流处理的微服务须满足的用例。对于每个用例，我们的方法识别可能影响该用例可扩展性的相关工作负载维度。我们建议为每个用例和相关工作负载维度设计一个基准。我们提出了一个通用基准测试框架，可应用于执行给定用例和工作负载维度的各个基准。我们的框架对给定维度的不同工作负载和不同数量的处理实例执行用例数据流架构的实现。由此，它确定了资源需求如何随工作负载增加而演变。在本文范围内，我们提出从工业物联网数据处理中衍生的 4 个已识别用例，以及 7 个相应工作负载维度。我们提供了基于 Kafka Streams 和 Apache Flink 的 4 个基准实现，以及用于在云环境中执行可扩展性基准测试的框架实现。我们将两者用于评估 Theodolite 方法，并用于基准测试 Kafka Streams 和 Flink 在不同部署选项下的可扩展性。