SharesSkew：一种处理MapReduce中连接倾斜的算法
数据库
2020-01-14 v1
摘要
本文研究了在数据可能倾斜时，在一轮MapReduce中计算多路连接的问题。我们以通信代价（即从mapper传输到reducer的数据量）为优化目标。我们识别出出现频率非常高的连接属性值，即Heavy Hitters (HH)。通过使用Shares~\cite{AfUl}算法的适配版本来分配具有HH值的记录至reducer以避免倾斜，从而实现最小通信代价。我们的算法已为实现实验并提供为开源软件。此外，我们研究了一类多路连接，对于该类连接，该算法的更简单变体可处理倾斜。我们给出了用于计算链连接和对称连接算法参数的封闭形式。
引用
@article{arxiv.1512.03921,
title = {SharesSkew: An Algorithm to Handle Skew for Joins in MapReduce},
author = {Foto Afrati and Nikos Stasinopoulos and Jeffrey D. Ullman and Angelos Vassilakopoulos},
journal= {arXiv preprint arXiv:1512.03921},
year = {2020}
}