为受故障与掉队者影响的查询提供洞察
数据库
2020-02-06 v1
摘要
交互式时间响应是用户分析大量数据的关键需求。此类分析查询通常在分布式环境中运行，数据被分片到数千个节点以实现高吞吐。然而，提供实时分析仍是一项巨大挑战；在数据分布于数千节点的情况下，部分所需节点在查询执行期间不可用或极慢的概率非常高，且不可用可能导致执行缓慢甚至失败。数据与用户的庞大规模加剧了资源争用，并在执行过程中恶化掉队者与节点故障现象。本文提出一种新颖方案以缓解掉队者/故障问题，其利用数据已有的高效分区特性，特别是协同哈希分区数据，并为受故障/掉队者节点影响的查询提供带置信界的近似答案。我们考虑涉及连接、分组、having 子句及一类嵌套子查询的聚合查询。最后，我们在 TPC-H 数据集上通过大量实验验证了我们的方法。
引用
@article{arxiv.2002.01531,
title = {Providing Insights for Queries affected by Failures and Stragglers},
author = {Bruhathi Sundarmurthy and Harshad Deshmukh and Paris Koutris and Jeffrey Naughton},
journal= {arXiv preprint arXiv:2002.01531},
year = {2020}
}