面向云上流式数据流可靠且快速的弹性伸缩
分布式、并行与集群计算
2019-05-13 v1
摘要
流式数据的普遍可用性正驱动对分布式快速数据（Fast Data）平台用于流式应用的兴趣。此类延迟敏感应用需要利用弹性云资源的缩容与扩容来响应输入速率与任务行为的动态变化。Apache Storm等平台未提供稳健能力以应对此类动态变化并在虚拟机间快速迁移任务。我们提出了若干数据流检查点与迁移方法，使运行中的流式数据流能够迁移，且不丢失在途消息或其内部任务状态，同时缩短恢复与稳定所需时间。我们在Apache Storm上实现并评估了这些迁移策略，使用微数据流与应用数据流在最多2-21台Azure虚拟机上进行缩容与扩容。我们的结果显示，我们能在50秒内迁移大型数据流，而Storm默认方法耗时超过 。我们还发现，我们的方法使应用更早稳定，且未发生消息失败与重处理。
引用
@article{arxiv.1712.00605,
title = {Toward Reliable and Rapid Elasticity for Streaming Dataflows on Clouds},
author = {Anshu Shukla and Yogesh Simmhan},
journal= {arXiv preprint arXiv:1712.00605},
year = {2019}
}
备注
11 pages