勿见木不见林——一种解释嵌套数据上缺失答案的整体方法(扩展版)
数据库
2021-03-16 v1
摘要
针对缺失答案的基于查询的解释可识别查询中哪些算子导致了感兴趣缺失答案未能返回。这类解释已被证明在包括复杂分析查询调试在内的多种场景中有用。此类查询在 Apache Spark 等大数据系统中十分常见。我们提出了一种生成基于查询的解释的新方法。我们的方法是首个支持嵌套数据、并将修改数据模式与结构(如嵌套与投影)的算子视为缺失答案潜在原因的方法。为高效计算解释,我们提出了一种启发式算法,其应用了两种新技术:(i) 对查询的多种模式备选进行推理,以及 (ii) 在每一步重新验证中间结果是否可贡献于缺失答案。通过在 Spark 上实现我们的方法,我们证明其首个可扩展至大型数据集,且常能找到现有技术无法识别的解释。
引用
@article{arxiv.2103.07561,
title = {To not miss the forest for the trees -- a holistic approach for explaining missing answers over nested data (extended version)},
author = {Ralf Diestelkaemper and Seokki Lee and Melanie Herschel and Boris Glavic},
journal= {arXiv preprint arXiv:2103.07561},
year = {2021}
}
备注
21 pages