并行处理中多路连接的数据倾斜处理
数据库
2015-04-14 v1
摘要
处理数据倾斜是查询处理的主要挑战之一。在MapReduce等分布式计算环境中，数据在服务器间的不均匀分布是不期望的。在分布式环境中，我们希望优化的一个主要指标是通信代价。在MapReduce作业中，这是从映射器传输到化简器的数据量。在本文中，我们将介绍一种新技术，用于在最小通信代价下，在一个MapReduce轮次中计算多路连接时处理数据倾斜。该技术实际上是Shares算法[Afrati et. al, TKDE 2011]的一种改编。
引用
@article{arxiv.1504.03247,
title = {Handling Skew in Multiway Joins in Parallel Processing},
author = {Foto N. Afrati and Jeffrey D. Ullman and Angelos Vasilakopoulos},
journal= {arXiv preprint arXiv:1504.03247},
year = {2015}
}
备注
4 pages