部分键分组：分布式流的负载均衡分区
分布式、并行与集群计算
2015-10-28 v1
摘要
我们研究分布式流处理引擎中的负载均衡问题，该问题在存在倾斜时加剧。我们引入部分键分组（PKG），一种新颖的流分区方案，它利用两种新技术：键拆分和本地负载估计，将经典的“双选择幂”适配到分布式流设置中。如此，它实现了比键分组更好的负载均衡，同时比洗牌分组更具可扩展性。我们在多个大型数据集（真实和合成）上测试PKG。与标准哈希相比，PKG将负载不平衡降低了多达几个数量级，并且经常实现近乎完美的负载平衡。该结果转化为在真实Storm集群上部署时吞吐量提高高达175%和延迟降低高达45%。PKG已集成到Apache Storm v0.10中。
引用
@article{arxiv.1510.07623,
title = {Partial Key Grouping: Load-Balanced Partitioning of Distributed Streams},
author = {Muhammad Anis Uddin Nasir and Gianmarco De Francisci Morales and David Garcia-Soriano and Nicolas Kourtellis and Marco Serafini},
journal= {arXiv preprint arXiv:1510.07623},
year = {2015}
}
备注
14 pages. arXiv admin note: substantial text overlap with arXiv:1504.00788