数据湖组织
数据库
2020-03-04 v3
摘要
我们考虑创建一种导航结构的问题，该结构使用户能够最有效地浏览数据湖。我们将组织定义为一个图，其中包含表示数据湖中属性集合的节点，以及表示节点间子集关系的边。我们提出了一种关于用户如何与组织交互的概率模型，并定义了用户利用该组织找到表的可能性。我们将数据湖组织问题提出为：寻找一个组织，使通过浏览该组织发现表的期望概率最大化。我们提出了一种用于数据湖组织问题的近似算法。我们在包含来自开放数据门户的真实数据湖以及模拟真实数据湖观测特征的基准上展示了该算法的有效性。通过一项正式的用户研究，我们表明导航可以帮助用户发现无法通过关键词搜索找到的相关表。此外，在我们的研究中，42% 的用户偏好使用导航，58% 的用户偏好关键词搜索，这表明二者是互补的，且都是数据湖中数据发现的有用方式。我们的实验表明，数据湖组织考虑了数据湖的分布，并优于现有的手工策划分类法和常见的基线组织。
引用
@article{arxiv.1812.07024,
title = {Data Lake Organization},
author = {Fatemeh Nargesian and Ken Q. Pu and Bahar Ghadiri Bashardoost and Erkang Zhu and Renée J. Miller},
journal= {arXiv preprint arXiv:1812.07024},
year = {2020}
}