一刀切不可行：无共享关系型数据库系统中倾斜哈希连接的自适应调度器
数据库
2023-03-15 v1
摘要
无共享架构已被广泛采用于各种商业分布式关系型数据库系统（RDBMS）中。得益于该架构，查询可并行处理，并通过按需水平扩展集群来加速。尽管如此，负载均衡一直是所有分布式RDBMS（包括无共享型）中的一个挑战性问题，其深受数据倾斜分布之苦。在本工作中，我们聚焦于其中一个代表性算子，即哈希连接（Hash Join），并研究集群中各节点间的倾斜如何影响无共享RDBMS中任意查询的负载均衡与最终效率。我们发现，当某个值在探测表与构建表中均出现倾斜时，现有的分布式哈希连接（Dist-HJ）方案可能无法提供令人满意的性能。为此，我们提出一种新颖的Dist-HJ方案，即分区与复制（Partition and Replication, PnR）。尽管PnR在某些倾斜场景下提供了最佳效率，但我们在一组无共享RDBMS上的详尽实验表明，并不存在一种在所有（数据倾斜）场景下都胜出的单一Dist-HJ方案。为此，我们进一步提出一种自适应Dist-HJ方案，其内置子算子代价模型，可根据目标查询的数据倾斜在运行时动态选择最佳的Dist-HJ实现策略。我们在商业无共享RDBMS KaiwuDB（原名ZNBase）中实现了该方案，实证研究表明，与现有许多RDBMS采用的一系列方案相比，该自适应模型取得了最佳性能。
引用
@article{arxiv.2303.07787,
title = {One Size Cannot Fit All: a Self-Adaptive Dispatcher for Skewed Hash Join in Shared-nothing RDBMSs},
author = {Jinxin Yang and Hui Li and Yiming Si and Hui Zhang and Kankan Zhao and Kewei Wei and Wenlong Song and Yingfan Liu and Jiangtao Cui},
journal= {arXiv preprint arXiv:2303.07787},
year = {2023}
}