基于马尔可夫逻辑网络的混合数据清洗框架
数据库
2019-03-15 v1
摘要
随着脏数据的增多，数据清洗已成为数据分析的关键。现有大多数算法要么依赖定性技术（如数据规则），要么依赖定量技术（如统计方法）。本文提出一种构建于马尔可夫逻辑网络（MLNs）之上的新型混合数据清洗框架，称为 MLNClean，它能够清洗模式级和实例级错误。MLNClean 主要由两个清洗阶段组成：首先分别清洗多个数据版本（每个版本对应一条数据规则），然后基于多个数据版本推导最终的干净数据。此外，我们提出了一系列技术/概念，例如 MLN 索引、可靠度分数与融合分数的概念，以促进清洗过程。在真实和合成数据集上的大量实验结果证明了 MLNClean 在准确率和效率方面相对于最先进方法的优越性。
引用
@article{arxiv.1903.05826,
title = {A Hybrid Data Cleaning Framework using Markov Logic Networks},
author = {Yunjun Gao and Congcong Ge and Xiaoye Miao and Haobo Wang and Bin Yao and Qing Li},
journal= {arXiv preprint arXiv:1903.05826},
year = {2019}
}