HoloClean:基于概率推断的整体数据修复
数据库
2017-02-06 v1
摘要
我们介绍HoloClean,一个由概率推断驱动的整体数据修复框架。HoloClean统一了现有的依赖完整性约束或外部数据源的定性数据修复方法,以及利用输入数据统计特性的定量数据修复方法。给定不一致的数据集作为输入,HoloClean自动生成执行数据修复的概率程序。受近期概率推断理论进展的启发,我们引入了一系列优化,确保对HoloClean概率模型的推断可扩展到数百万元组的实例。我们展示了HoloClean可扩展到数百万元组的实例,并在展现不同类型错误的多种数据集上以平均约90%的精度和高于约76%的平均召回率找到数据修复,这比最先进的方法平均F1提高超过2倍。
引用
@article{arxiv.1702.00820,
title = {HoloClean: Holistic Data Repairs with Probabilistic Inference},
author = {Theodoros Rekatsinas and Xu Chu and Ihab F. Ilyas and Christopher Ré},
journal= {arXiv preprint arXiv:1702.00820},
year = {2017}
}