集成视图上感知溯源的函数依赖发现
数据库
2021-12-17 v1
摘要
函数依赖的自动发现作为数据画像中最困难的问题之一已被广泛研究。现有方法侧重于在每次检查单个关系时提高 FD 计算的效率。在本文中，我们首次解决了仅使用视图本身基础关系的函数依赖来推断集成视图中出现的多个关系 FD 的问题。为此，我们利用逻辑推理和选择性挖掘，并表明我们可以从基础关系中发现大多数精确的 FD，并避免对集成视图本身进行 FD 的全面计算，同时保留基础关系 FD 的谱系。我们提出了加速推断 FD 发现过程的算法，并仅从必要的数据分区中即时挖掘 FD。我们提出了 InFine（INferred FunctIoNal dEpendency），这是一种利用基础关系的溯源信息在集成视图上发现推断 FD 的端到端解决方案。我们在一系列真实和合成数据集上的实验证明了我们的方法相对于需要在视图上从头重新运行发现过程且无法利用 FD 谱系信息的现有 FD 发现方法的优势。我们表明，在运行时间方面，InFine 的性能比需要完整集成视图计算的传统方法优出一到两个数量级。它也是内存效率最高的方法，同时主要通过从基础表进行推理来保留 FD 溯源信息，且执行时间可忽略不计。
引用
@article{arxiv.2112.09011,
title = {Provenance-aware Discovery of Functional Dependencies on Integrated Views},
author = {Ugo Comignani and Laure Berti-Équille and Noël Novelli and Angela Bonifati},
journal= {arXiv preprint arXiv:2112.09011},
year = {2021}
}
备注
12 pages + biblio and appendices. arXiv admin note: text overlap with arXiv:2012.06237