Megaphone：面向分布式流式数据流且具有延迟意识的的状态迁移机制
分布式、并行与集群计算
2019-04-17 v3
摘要
我们设计并实现了 Megaphone，一种面向有状态分布式数据流引擎且具有延迟目标的的数据迁移机制。与现有迁移机制相比，Megaphone 具有以下差异化特征：(i) 迁移可细分为可配置粒度以避免延迟尖峰；(ii) 迁移可提前准备以避免运行时协调。Megaphone 作为库实现于未修改的 timely dataflow 实现之上，并提供与其现有 API 兼容的算子接口。我们在具有不同状态量的既定基准上评估了 Megaphone，观察到与朴素方法相比，Megaphone 在重配置期间将服务延迟降低了数个数量级，且未显著增加稳态开销。
引用
@article{arxiv.1812.01371,
title = {Megaphone: Latency-conscious state migration for distributed streaming dataflows},
author = {Moritz Hoffmann and Andrea Lattuada and Frank McSherry and Vasiliki Kalavri and John Liagouris and Timothy Roscoe},
journal= {arXiv preprint arXiv:1812.01371},
year = {2019}
}