双重选择的力量：分布式流处理引擎的实用负载均衡
分布式、并行与集群计算
2016-11-17 v1
摘要
我们研究了分布式流处理引擎中的负载均衡问题，该问题在存在数据倾斜时会加剧。我们引入了部分键分组 (PKG)，这是一种新的流分区方案，它通过利用两项新技术——键拆分和局部负载估计——将经典的“双重选择权力”适配到分布式流处理环境中。借此，PKG 实现了比键分组更好的负载均衡，同时比洗牌分组更具可扩展性。我们在多个大型数据集（包括真实数据和合成数据）上测试了 PKG。与标准哈希相比，PKG 将负载不平衡度降低了数个数量级，并且通常能实现近乎完美的负载均衡。这一结果转化为在真实 Storm 集群上部署时，吞吐量最高提升 60%，延迟最高降低 45%。
引用
@article{arxiv.1504.00788,
title = {The Power of Both Choices: Practical Load Balancing for Distributed Stream Processing Engines},
author = {Muhammad Anis Uddin Nasir and Gianmarco De Francisci Morales and David García-Soriano and Nicolas Kourtellis and Marco Serafini},
journal= {arXiv preprint arXiv:1504.00788},
year = {2016}
}
备注
31st IEEE International Conference on Data Engineering (ICDE), 2015