基于 MapReduce 的实体解析负载均衡
分布式、并行与集群计算
2015-03-19 v1
摘要
基于 MapReduce 实现的复杂数据密集型任务的有效性和可扩展性取决于数据在 map 和 reduce 任务之间的均匀再分布。在存在数据倾斜的情况下，需要复杂的再分布方法来实现所有并行执行的 reduce 任务之间的负载均衡。针对复杂的实体解析问题，我们提出并评估了两种处理此类倾斜和实现负载均衡的方法。这些方法支持使用分块技术来缩减实体解析的搜索空间，利用一个预处理 MapReduce 作业来分析数据分布，并将大块中的实体分布到多个 reduce 任务中。在真实云基础设施上的评估显示了所提出的负载均衡方法的价值和有效性。
引用
@article{arxiv.1108.1631,
title = {Load Balancing for MapReduce-based Entity Resolution},
author = {Lars Kolb and Andreas Thor and Erhard Rahm},
journal= {arXiv preprint arXiv:1108.1631},
year = {2015}
}