Khaos：动态优化检查点机制以实现可靠的分布式流处理
分布式、并行与集群计算
2023-01-27 v3
摘要
分布式流处理系统正日益成为大数据处理平台不可或缺的一部分，因为用户越来越依赖其快速获取新结果的能力。因此，基于这些结果及时做出决策取决于系统容忍故障的能力。通常，这些系统通过实现检查点与回滚恢复来实现容错及从局部故障中自动恢复的能力。然而，由于分布式环境中发生局部故障的统计概率以及作业预期运行的工作负载的可变性，静态配置往往无法以低开销满足服务质量约束。本文提出 Khaos，一种利用虚拟云自动化技术的并行处理能力来在分布式流处理作业中自动运行时优化容错配置的新方法。我们的方法采用借鉴混沌工程原理的三个连续阶段：建立稳态处理条件，开展实验以更好地理解系统在故障下的表现，并利用该知识持续最小化服务质量违例。我们与 Apache Flink 一起原型化实现了 Khaos，并通过实验证明了其实用性。
引用
@article{arxiv.2109.02340,
title = {Khaos: Dynamically Optimizing Checkpointing for Dependable Distributed Stream Processing},
author = {Morgan K. Geldenhuys and Benjamin J. J. Pfister and Dominik Scheinert and Lauritz Thamsen and Odej Kao},
journal= {arXiv preprint arXiv:2109.02340},
year = {2023}
}